python爬取微博博主历史博文存入Excel

一、环境以及微博接口

环境:python3
微博接口:由于电脑端的反爬措施过于严密,所以我就选择绕过电脑端的直接选择手机端的接口。接口查找步骤如下:
1、使用谷歌浏览器进入微博,搜索想要爬取的微博博主:
然后点击进入然后点击进入微博主页。
2、按F12,点击响应式设计模式(就是模拟手机模式)
在这里插入图片描述
选择xhr,然后按F5刷新,就会出现很多的接口。选择如下图这个接口:
在这里插入图片描述选择带小齿轮和具有since_id特征的那个。因为since_id后面翻页需要用到。
这样微博接口就拿到了。

二、代码实现:

import requests
import json
import jsonpath
from pyquery import PyQuery as pq
import xlwt
import time
headers = {
   
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:88.0) Gecko/20100101 Firefox/88.0'
}
#定义开始时间
time_end = 1590940800.0
#定义结束时间
time_start = 1577808000.0
#定义控制条件
bool_s = 1
work_book=xlwt.Workbook(encoding='utf-8')
sheet=work_book.add_sheet('sheet1')
y = 0
arr_list = ["博主","简介","关注数","粉丝数","总发帖数","发布时间","标注","点赞数","转发数","评论数","是否源于转发","博文"]
sheet.write(y,0,arr_list[0])
sheet.write(y,1,arr_list[1])
sheet.write(y,2,arr_list[2])
sheet.write(y,3,arr_list[3])
sheet.write(y,4,arr_list[4])
sheet.write(y,5,arr_list[5])
sheet.write(y,6,arr_list[6])
sheet.write(y,7,arr_list[7])
sheet.write(y,8,arr_list[8])
sheet.write(y
  • 1
    点赞
  • 28
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值