python每天定时爬取微博热搜并保存到本地(表格、数据库)

最新推荐文章于 2023-01-17 17:45:14 发布
最新推荐文章于 2023-01-17 17:45:14 发布
阅读量3.2k 收藏 65
点赞数 10
分类专栏： Python 爬虫 文章标签： 可视化 python 数据分析 excel mongodb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43613793/article/details/105471510
版权

微博热搜网站：https://s.weibo.com/top/summary/

就是这个样子：
在这里插入图片描述
pyquery提取：

保险起见headers里加个UA…

from pyquery import PyQuery as pq
html = pq("https://s.weibo.com/top/summary/",
          {
              'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'
          }
          )

这里打印html可以看到有结果了
在这里插入图片描述

for item in html("#pl_top_realtimehot > table > tbody > tr").items():
    if len(list(item.text().split())) >= 3:
        print({
            '排名': int(item('td.td-01.ranktop').text()),
            '名称': item('td.td-02 > a').text(),
            '热度': int(item('td.td-02 > span').text())
        })

然后用这段代码就可以获得所有结果：
在这里插入图片描述

for item in html("#pl_top_realtimehot > table > tbody > tr").items():
    if len(list(item.text().split())) >= 3:
        with open ("weibo.csv","a",encoding="utf-8") as f:
            f.write(item('td.td-01.ranktop').text()+","+item('td.td-02 > a').text()+","+item('td.td-02 > span').text()+"\n")

这一段代码就可以把数据存储为csv文件
在这里插入图片描述
在这里插入图片描述
但是因为我们想要每天定时爬取，所以还要再加点东西：

import time
with open ("weibo.csv","a",encoding="utf-8") as f:
    f.write("日期,时间,排名,名称,热度\n")
for item in html("#pl_top_realtimehot > table > tbody > tr").items():
    if len(list(item.text().split())) >= 3:
        with open ("weibo.csv","a",encoding="utf-8") as f:
            f.write(time.strftime("%Y-%m-%d")+","+time.strftime("%H:%M:%S")+","+item('td.td-01.ranktop').text()+","+item('td.td-02 > a').text()+","+item('td.td-02 > span').text()+"\n")

这就可以了：
在这里插入图片描述
在这里插入图片描述
还有保存到excel：

try:
    r_xls = open_workbook("weibo.xls") 
    row = r_xls.sheets()[0].nrows 
    excel = copy(r_xls)  
    table = excel.get_sheet("sheet1") 
    for item in html("#pl_top_realtimehot > table > tbody > tr").items():
        if len(list(item.text().split())) >= 3:
            contents = [time.strftime("%Y-%m-%d"),
                        time.strftime("%H:%M:%S"),
                        int(item('td.td-01.ranktop').text()),
                        item('td.td-02 > a').text(),
                        int(item('td.td-02 > span').text())]
            for i in range(len(contents)):
                table.write(row, i, contents[i])
            row += 1
    excel.save("weibo.xls")  
except FileNotFoundError:
    f = xlwt.Workbook()
    sheet = f.add_sheet("sheet1")
    lists = ['日期', '时间', '排名', '名称', '热度']
    for i in range(0, len(lists)):
        sheet.write(0, i, lists[i])
    row = 1
    for item in html("#pl_top_realtimehot > table > tbody > tr").items():
        if len(list(item.text().split())) >= 3:
            contents = [time.strftime("%Y-%m-%d"),
                        time.strftime("%H:%M:%S"),
                        int(item('td.td-01.ranktop').text()),
                        item('td.td-02 > a').text(),
                        int(item('td.td-02 > span').text())]
            for i in range(len(contents)):
                sheet.write(row, i, contents[i])
            row += 1
    f.save("weibo.xls")

这里的try中的内容是当"weibo.xls"存在时直接写入，except中的内容是当"weibo.xls"不存在时导入数据。
在这里插入图片描述

接下来是保存数据到MongoDB数据库：

不会用的可以看这里入门：pymongo操作MongoDB基础教程

import pymongo
client = pymongo.MongoClient(host="localhost", port=27017)
db = client.test
collection = db.weibo
for item in html("#pl_top_realtimehot > table > tbody > tr").items():
    if len(list(item.text().split())) >= 3:
        collection.insert_one({
            '日期':time.strftime("%Y-%m-%d"),
            '时间': time.strftime("%H:%M:%S"),
            '排名': int(item('td.td-01.ranktop').text()),
            '名称': item('td.td-02 > a').text(),
            '热度': int(item('td.td-02 > span').text())
        })

在这里插入图片描述
保存数据到mysql数据库：（4.24新增）

def save_to_mysql(html):
    conn = pymysql.connect(
            host="localhost",
            user="root",
            passwd="19834044876lpy",
            port=3306,
            database="mydb",
            charset='utf8',
            cursorclass=pymysql.cursors.DictCursor)
    conn.cursor().execute("""
    create table if not exists weibo (
    日期 char(30),
    时间 char(30),
    排名 char(30),
    名称 char(30),
    热度 char(30)
    );
    """)
    conn.commit()
    for item in html("#pl_top_realtimehot > table > tbody > tr").items():
        if len(list(item.text().split())) >= 3:
            with conn.cursor() as cursor:
                cursor.execute("insert into weibo (日期,时间,排名,名称,热度) values (%s,%s,%s,%s,%s);",
                               [
                                   time.strftime("%Y-%m-%d"),
                                   time.strftime("%H:%M:%S"),
                                   item('td.td-01.ranktop').text(),
                                   item('td.td-02 > a').text(),
                                   item('td.td-02 > span').text()
                               ])
            conn.commit()
    cursor.close()
    conn.close()

然后我们把它们封装成函数便于操作，主函数里设置整点抓取数据

接下来上源码：

from pyquery import PyQuery as pq
import pymongo
import time
from xlrd import open_workbook
from xlutils.copy import copy
import xlwt
import os
import threading
import pymysql


def get_data():
    return pq("https://s.weibo.com/top/summary/",
              {
                  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'
              }
              )


def save_to_csv(html):
    if os.path.exists("weibo.csv"):
        pass
    else:
        with open("weibo.csv", "a", encoding="utf-8") as f:
            f.write("日期,时间,排名,名称,热度\n")
    for item in html("#pl_top_realtimehot > table > tbody > tr").items():
        if len(list(item.text().split())) >= 3:
            with open("weibo.csv", "a", encoding="utf-8") as f:
                f.write(time.strftime("%Y-%m-%d") + "," + time.strftime("%H:%M:%S") + "," + item(
                        'td.td-01.ranktop').text() + "," + item('td.td-02 > a').text() + "," + item(
                        'td.td-02 > span').text() + "\n")


def save_to_excel(html):
    try:
        r_xls = open_workbook("weibo.xls")
        row = r_xls.sheets()[0].nrows
        excel = copy(r_xls)
        table = excel.get_sheet("sheet1")
        for item in html("#pl_top_realtimehot > table > tbody > tr").items():
            if len(list(item.text().split())) >= 3:
                contents = [time.strftime("%Y-%m-%d"),
                            time.strftime("%H:%M:%S"),
                            int(item('td.td-01.ranktop').text()),
                            item('td.td-02 > a').text(),
                            int(item('td.td-02 > span').text())]
                for i in range(len(contents)):
                    table.write(row, i, contents[i])
                row += 1
        excel.save("weibo.xls")  # 保存并覆盖文件
    except FileNotFoundError:
        f = xlwt.Workbook()
        sheet = f.add_sheet("sheet1")
        lists = ['日期', '时间', '排名', '名称', '热度']
        for i in range(0, len(lists)):
            sheet.write(0, i, lists[i])
        row = 1
        for item in html("#pl_top_realtimehot > table > tbody > tr").items():
            if len(list(item.text().split())) >= 3:
                contents = [time.strftime("%Y-%m-%d"),
                            time.strftime("%H:%M:%S"),
                            int(item('td.td-01.ranktop').text()),
                            item('td.td-02 > a').text(),
                            int(item('td.td-02 > span').text())]
                for i in range(len(contents)):
                    sheet.write(row, i, contents[i])
                row += 1
        f.save("weibo.xls")


def save_to_mongodb(html):
    client = pymongo.MongoClient(host="localhost", port=27017)
    db = client.test
    collection = db['weibo']
    for item in html("#pl_top_realtimehot > table > tbody > tr").items():
        if len(list(item.text().split())) >= 3:
            collection.insert_one({
                '日期': time.strftime("%Y-%m-%d"),
                '时间': time.strftime("%H:%M:%S"),
                '排名': int(item('td.td-01.ranktop').text()),
                '名称': item('td.td-02 > a').text(),
                '热度': int(item('td.td-02 > span').text())
            })


def save_to_mysql(html):
    conn = pymysql.connect(
            host="localhost",
            user="root",
            passwd="19834044876lpy",
            port=3306,
            database="mydb",
            charset='utf8',
            cursorclass=pymysql.cursors.DictCursor)
    conn.cursor().execute("""
    create table if not exists weibo (
    日期 char(30),
    时间 char(30),
    排名 char(30),
    名称 char(30),
    热度 char(30)
    );
    """)
    conn.commit()
    for item in html("#pl_top_realtimehot > table > tbody > tr").items():
        if len(list(item.text().split())) >= 3:
            with conn.cursor() as cursor:
                cursor.execute("insert into weibo (日期,时间,排名,名称,热度) values (%s,%s,%s,%s,%s);",
                               [
                                   time.strftime("%Y-%m-%d"),
                                   time.strftime("%H:%M:%S"),
                                   item('td.td-01.ranktop').text(),
                                   item('td.td-02 > a').text(),
                                   item('td.td-02 > span').text()
                               ])
            conn.commit()
    cursor.close()
    conn.close()


if __name__ == '__main__':
    while 1:
        if time.strftime("%M%S") == "0000":
            t1 = threading.Thread(save_to_csv(get_data()))
            t2 = threading.Thread(save_to_excel(get_data()))
            t3 = threading.Thread(save_to_mongodb(get_data()))
            t4 = threading.Thread(save_to_mysql(get_data()))
            t1.start()
            t2.start()
            t3.start()
            t4.start()

这是我挂了一晚上的结果：

csv:

在这里插入图片描述

…

…

…

在这里插入图片描述

excel:

在这里插入图片描述

…

…

…

在这里插入图片描述

MongoDB:

在这里插入图片描述

…

…

…

在这里插入图片描述

MySQL:

在这里插入图片描述

…

…

…

在这里插入图片描述

4.24，补充MySQL（因为之前懒得安，现在安上了…🤦）

源码也一同同步

数据抓取下来后想要玩数据分析和可视化的就可以用这个数据集去玩玩什么微博热搜舆情分析啊什么的…🕵

想玩又没基础的同学可以看这里：

🗡 数据分析三剑客之 Numpy 基础教程
🗡 数据分析三剑客之 Pandas 基础教程
🗡 数据分析三剑客之 Matplotlib 基础教程

在这里插入图片描述

philpy_used
关注
  • 10
    点赞
  • 踩
  • 65
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
python每隔一段时间保存网页内容_Python入门 网络爬虫
weixin_39649490的博客
12-20 267
什么是网络爬虫？我们写一个程序，让它自动抓取某网页中的信息；如果其中包含其它url，就继续抓取；这样不停的迭代…… 就顺藤摸瓜获得了所有相关网页中的有用信息。在这个过程中，url就像蜘蛛网的丝，抓取程序就像蜘蛛在爬，所以它有了形象的名字：网络爬虫。相关python库①获取网页需要发起web请求，python提供了requests②阅读网页需要进行html解析，python提供了be...
python五步教你如何浏览器自动化并保存商品数据信息~
weixin_62853513的博客
06-07 430
1、系统分析目标网页2、html标签数据解析方法3、海量数据一键保存 1. 打开谷歌浏览器 2. 打开网页 3. 获取商品数据 所有的商品都拿出来 标题 价格 评论数 商铺名字 详情页链接 get_attribute: 获取标签属性名 4. 保存数据 5. 翻页保存 尾语 好了，我的这篇文章写到这里就结束啦！有更多建议或问题可以评论区或私信我哦！一起加油努力叭(ง •_•)ง喜欢就关注一下博主，或点赞收藏评论一下我的文章叭！！！...
python写一个自动在网页搜索资源并下载的程序
hujiahao_ros的博客
10-04 9083
python写一个自动在网页搜索资源并下载的程序 从始至终就是一个懒虫的无理取闹~ 故事起因 该懒虫的拖延症使得自己不得不在国庆这个美好的日子里加班加点熬夜写开题报告以及ppt（ε=(´ο｀*)))唉 说到开题报告，有一件事是不得不考虑的，那就是文献管理，需要自己在网上将所要引用的文章的引用文件下载下来导入管理器中（endnote），而这个懒虫竟然已经下载好了一百多篇论文！让它一个一个去搜下载引用...
Python实现百度搜索并保存到本地示例，Python实现百度搜索
aini4568的博客
06-09 239
实现百度搜索并保存到本地User_Agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36' import urllib2 import urllib url = "https://www.baidu....
Python网络爬虫之爬取微博热搜
09-19
主要介绍了Python网络爬虫之爬取微博热搜的相关知识，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下
python爬取微博关键词搜索博文
03-17
python爬取微博关键词搜索博文，只需要修改cookie和url参数
Python微博热搜榜信息爬取项目.zip
06-03
所上传的资源是python编写的微博热搜信息爬取项目，内含源代码+sql脚本，另外还对过程中可能出现的问题进行了汇总，对于正在学习这方面的你是一个很好的选择，希望对你有所帮助。
python爬取新浪微博热门话题保存到excel等文件
05-02 1139
第一步 在网页上登录新浪微博，获取登录cookie 先把它复制好先，进行第二步 第二步 废话不多说，直接上代码，把刚刚复制好的值，赋给co变量 # -*- coding: utf-8 -*- """ Created on Fri May 1 14:54:19 2020 @author: Administrator """ import requests import pandas as p...
python定时爬微博并发送邮件
09-28
python定时爬微博某博主主页，匹配关键字哈罗，把包含“哈罗”关键字的微博发送，需要设置邮箱和密码等
Windows部署定时任务，每天定期执行手机机型爬取
JJBOOM425的博客
01-17 647
有一个手机机型自动更新获取的需求，在我写好相关的爬虫后，需要将爬虫部署，并且需要配置定时任务每天定期执行。之前在Mac上开发，现在部门给配了一台windows定期执行。1、我是通过ChromeDriver开发的爬虫，所以首先需要安装好Chrome。
用BeautifulSoup爬取微博热搜，并写入csv文件
武师叔的博客
04-01 1075
需要提前安装requests和bs4库： #爬虫两种获取HTML文本信息的方法，来自bs4的BeautifulSoup和lxml的etree #本文介绍第一种写法来自bs4的BautifulSoup import requests from bs4 import BeautifulSoup #爬取网站地址 url="https://tophub.today/n/KqndgxeLl9" #伪装浏览器浏览信息，获取user-Agent(在chrome浏览器输入 chrome://version ).
python微博爬取（仅供学习，其实也没啥学的....），输入检索词，保存为csv格式。
linershigebaobao的博客
07-16 680
本示例记录一下python爬取微博遇到的坑以及学到的东西。首先不得不承认pyquery在提取信息方便还是相当便捷的，尤其是本次提取文本信息时，相当给力。可能主要还是对各种选择器不熟练吧，遇到一个说一个好。唉..... 遇到的第一个问题是url构造的问题，微博构造url还是比较简单的，在爬取搜索关键词后的信息时其url大致为 https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D1%26q%3D%2...
Python爬取微博热搜存入数据库并定时发送邮件，及时了解最新动态！
shadowtalon的博客
12-03 1148
一、前言 微博热搜榜每天都会更新一些新鲜事，但是自己处于各种原因，肯定不能时刻关注着微博，为了与时代接轨，接受最新资讯，就寻思着用Python写个定时爬取微博热搜的并且发送QQ邮件的程序，这样每天可以在不打开微博的情况下，时刻掌握着微博的最新动态资讯。 废话不多说，下面直接上代码以及详细思路。 二、代码及思路 （1）首先肯定是对微博热搜进行爬取，这并不难，是个非常简单的爬虫。 def getHTML(url): headers={ "User-Agent":"Mozill
定时获取微博热搜爬虫连接MySQL（项目）
海贼王OP的博客
12-08 194
前言 这个项目的第三篇博客，增加了定时爬取和日志写入，解决了一些稳定性的问题。 代码设计 # -*- encoding: utf-8 -*- # --------------------------------------------- # 微博热搜 # --------------------------------------------- import time import re import json import sys import copy import pymysql import req
SpringBoot任务——JSoup+定时任务 定时爬取微博热搜至数据库
小蜉蝣星蔚的博客
03-02 2522
SpringBoot任务——JSoup+定时任务 定时爬取微博热搜至数据库 文章目录SpringBoot任务——JSoup+定时任务 定时爬取微博热搜至数据库0.前言1.导入JSoup依赖2.测试爬取微博热搜3. 配合定时任务注解实现定时爬取至数据库3.1 导入依赖与配置MySQL3.2 热搜实体类与对应的数据表3.3 使用MyBatisPlus写实体类对应的Mapper3.4 @Schedul...
python爬取微博数据存入数据库_Python爬取新浪微博评论数据，写入csv文件中
weixin_39616056的博客
12-17 1248
因为新浪微博网页版爬虫比较困难，故采取用手机网页端爬取的方式操作步骤如下：1. 网页版登陆新浪微博2.打开m.weibo.cn3.查找自己感兴趣的话题，获取对应的数据接口链接4.获取cookies和headers# -*- coding: utf-8 -*-import requestsimport csvimport osbase_url = 'https://m.weibo.cn/api/co...
Python+MySQL+云服务器 定时爬取B站日榜与微博热搜榜信息并保存至数据库
renboyu010214的博客
04-28 863
原文链接 文章目录前言：流程准备阶段云数据库云服务器代码实现阶段利用python实现爬虫部分B站日榜爬虫部分常见问题解决MySQL部分-数据库创建与数据插入将数据插入MySQL数据插入数据库过程失败常见原因利用schedule实现定时爬取部署到云服务器阶段最终数据库效果结语 前言： 几乎所有主流信息网站/平台都有各自平台的榜单，这份榜单显示了网站在本日或一段时间以来的重要事件或突出内容。通过这份榜...
python爬取微博热搜榜数据并存入数据库
最新发布
01-08
Python爬虫是一个用于抓取网页数据并存入数据库的强大工具。要实现 python 爬取微博热搜榜数据并存入数据库，首先需要使用 python 的 requests 库来获取微博热搜榜页面的源代码，然后使用 BeautifulSoup 库分析并提取出热搜榜上的数据。接着，我们可以使用 python 的数据库操作库（如 pymysql、SQLAlchemy 等）连接到数据库，创建数据表并将提取出的数据存入数据库中。 首先，我们可以使用 requests 库获取微博热搜榜页面的源代码，然后使用 BeautifulSoup 库来解析页面，提取出需要的数据，比如热搜榜上的热搜词、热度等信息。接着，我们可以使用数据库操作库连接到数据库，创建一个新的数据表来存储热搜榜数据。然后，我们可以使用 SQL 语句将提取出的数据插入到数据库表中，完成数据存储的过程。 在将数据存入数据库之前，我们可能需要对数据进行一些预处理工作，比如去除重复数据、处理数据格式等。最后，我们可以编写一个定时任务，定时运行 python 爬虫程序，实现定时更新微博热搜榜数据并存入数据库的功能。 总的来说，使用 python 爬虫可以轻松实现微博热搜榜数据的抓取和存储，为后续的数据分析和应用提供了方便。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值