利用八爪鱼爬取关键词搜索的微博数据

写在开头

今天是我在CSDN上的两周年创作纪念日,两年里我写了不少有意思的文章,虽然没收获什么粉丝,但看到自己的博客阅读量越来越大,能帮助到更多人解决实际问题还是很开心的。今天就分享一下我最近做的一个项目。


一般来说,爬虫可能用的更多的是python,但是chatgpt给出的代码需要申请微博开放平台api,还得审核好久。我在GitHub上搜索了很多代码,大多数也都不能用或者有缺陷。用八爪鱼可能更加方便,而且通过模拟点击的方式更容易爬取。

  1. 用微信登陆
    注意不要用官方给的微博模板。 那个模板完全不值得用。
    在这里插入图片描述

  2. 进入微博官网,登陆账号

建议用https://weibo.com/

别用移动版,因为官网版搜索到的微博数据更全。

  1. 点击搜索栏,输入关键词,并搜索
    按照给的提示,点击相应的元素就行,这里很简单,和正常的模拟点击类似,搜索的时候可以选择点击“xx”相关微博,就能实现。在这里插入图片描述

  2. 点击查看全部搜索结果
    微博默认按综合评分来排序,可能数量比较少,需要展开搜索所有的微博(按时间排序)。我们需要找到网页最下面的按钮来点击元素。在这里插入图片描述

  3. 自动展开全文
    微博有些内容比较长会被折叠,爬取的时候需要点击展开这一元素,但是展开元素所对应的位置是不一样的,有的一个div组件里有一个链接,有的有0,2,3个话题或超话会干扰,所以我们需要用到xpath来正则匹配。
    首先随机点击一个展开链接→选择全部→循环点击每个链接。这时有些展开是没有被匹配到的,然后需要修改循环列表中的循环方式为下图在这里插入图片描述
    其中xpath路径设置如下(核心步骤):
    //div[@id="pl_feedlist_index"]/div[1]/div[*]/div[1]/div[1]/div[2]/p[1]/a[contains(text(),'展开')]
    这里*表示匹配任意一个微博,contains(text(),‘展开’)表示文本中包含展开字符串的链接。点击应用,通过观察下面的循环列表,看是否匹配正确。在这里插入图片描述
    发现6个展开全部匹配到了,也没有匹配到其他的超话或者链接。这个循环列表的点击元素设置不需要修改。

  4. 点击自动识别网页
    展开所有数据之后,点击自动识别网页,然后确定就自动完成了提取列表数据和翻页的设置。

  5. 拖动修改嵌套顺序
    需要先展开再提取数据,并且是在循环翻页里面的,整体流程图如下:在这里插入图片描述

  6. 点击本地采集,导出数据
    采集的时候可能会出错(采集0条),建议开始采集之后就点击查看网页来监督爬取过程,确保能得到想要的数据。注意,如果微博页面有50页,那么在第50页点击下一页会回到第一页,这就陷入了死循环,也会采集到很多重复数据,可以设置循环翻页的次数上限来控制。
    最后得到的数据如下:在这里插入图片描述
    表中txt是展开后的微博正文,txt5是展开前的微博正文。
    这样我们就完成了对关键词搜索的微博数据的爬取,如果还想爬取更多的数据,可以在高级搜索中按照时间搜索。

  • 12
    点赞
  • 44
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 15
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 15
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

清洄KAKA

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值