微博数据爬虫——获取特定ID的热门转发用户列表（五）

金鳞本鲤

于 2021-04-21 08:19:25 发布

阅读量1.1k

点赞数

本文链接：https://blog.csdn.net/weixin_43906500/article/details/115921689

版权

本文介绍如何爬取微博中特定用户热门帖子的转发用户ID。首先，通过正则匹配获取转发地址的关键参数，然后分析ajax数据找到接口地址，利用正则表达式抓取转发用户ID。最后，提供了完整的爬虫代码实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言：由于微博网页采用动态加载方式，只能获取到js脚本，不能使用beautifulsoup解析，需要使用正则匹配获取信息

1.获取用户热门帖子转发地址

如下Kb4cwauSp为转发地址的关键参数

使用正则进行匹配

add = urllib.request.Request(url="https://weibo.com/u/%s?is_hot=1" % o_id, headers=headers)
r = urllib.request.urlopen(url=add, timeout=10).read().decode('utf-8')
repost_links = re.findall(r'<a  action-data=\\"allowForward=1&url=https:\\/\\/weibo.com\\/%s\\/(.*?)&mid=(\d+)&' % o_id, r)

如下为参数的使用方式