Python微博奔驰事件爬虫
工具:Pycharm,Win10,Python3.6.4
最近奔驰漏油事件成为大家讨论的热点,也频上热搜。我就来做了一下微博评论爬虫,看看大家对这件事情的看法。
微博移动端相对好爬一些,且评论数据差不多,所以我们主要是针对微博移动端进行信息采集。
我们打开网址看到如下信息
评论量还是挺多的,所以我们要先获取该微博的链接,然后通过该微博去获取评论页。可以看到微博是动态加载的,你不断往下翻就会有新的微博内容出现,此时我们应该考虑是动态加载
可以看到每次会产生10条微博数据,我们要获取这10条数据中的idstr去构造每条微博的详情链接。