python每天定时爬取微博热搜并保存到本地(表格、数据库)

最新推荐文章于 2024-09-26 17:30:41 发布

philpy_used

最新推荐文章于 2024-09-26 17:30:41 发布

阅读量3.3k

点赞数 10

分类专栏： Python 爬虫文章标签：可视化 python 数据分析 excel mongodb

本文链接：https://blog.csdn.net/qq_43613793/article/details/105471510

版权

微博热搜网站：https://s.weibo.com/top/summary/

就是这个样子：
在这里插入图片描述
pyquery提取：

保险起见headers里加个UA…

from pyquery import PyQuery as pq
html = pq("https://s.weibo.com/top/summary/",
          {
   
              'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'
          }
          )

这里打印html可以看到有结果了
在这里插入图片描述

for item in html("#pl_top_realtimehot > table > tbody > tr").items():
    if len(list(item.text().split())) >= 3:
        print({
   
            '排名': int(item('td.td-01.ranktop').text()),
            '名称': item('td.td-02 > a').text(),
            '热度': int(item('td.td-02 > span').text())
        })

然后用这段代码就可以获得所有结果：
在这里插入图片描述

for item in html("#pl_top_realtimehot > table > tbody > tr").items():
    if len(list(item.text().split())) >= 3:
        with open ("weibo.csv","a",encoding="utf-8") as f:
            f.write(item('td.td-01.ranktop').text()+","+item('td.td-02 > a').text()+","+item('td.td-02 > span').text()+"\n")

这一段代码就可以把数据存储为csv文件
在这里插入图片描述

但是因为我们想要每天定时爬取，所以还要再加点东西：

import time
with open ("weibo.csv","a",encoding="utf-8") as f:
    f.write("日期,时间,排名,名称,热度\n")
for item in html("#pl_top_realtimehot > table > tbody > tr").items():
    if len(list(item.text().split())) >= 3:
        with open ("weibo.csv","a",encoding="utf-8") as f:
            f.write(time.strftime("%Y-%m-%d")+","+time.strftime("%H:%M:%S")+","+item('td.td-01.ranktop').text()+","+item('td.td-02 > a').text()+","+item('td.td-02 > span').text()+"\n")

这就可以了：
在这里插入图片描述

还有保存到excel：

try:
    r_xls = open_workbook("weibo.xls") 
    row = r_xls.sheets()[0].nrows 
    excel = copy(r_xls)  
    table = excel.get_sheet("sheet1") 
    for item in html(