【Part1——理论篇】
试想一个问题,如果我们要去抓取某个微博大V微博的评论数据,应该怎样去实现呢?最简单的做法就是找到微博评论数据接口,然后通过改变参数来获取最新数据并保存。首先寻找从微博抓取评论的接口,如下图所示。
但是很不幸,该接口频率受限,抓不了多少次就会被禁,刚准备好飞,就凉凉了。
接下来小编又开始选择移动端的微博网站,先登录,然后找到我们想去抓取评论的微博,打开浏览器自带流量分析工具,一直把评论往下拉,找到评论数据接口,如下图所示。
之后看到“参数”选项卡进行点击,可以看到有参数如下图所示的内容:
可以看到一共有4个参数,其中第1、2个参数为该条微博的id,就像每个人的身份证号一样,这个就相当于该条微博的“身份证号”