Python 爬取“微博树洞”详细教程！通过一文教会你爬虫教程！

最近要做一个关于自动从微博等短文本数据中 判断人是否有自杀倾向 的项目，在这之前需要先收集许多具有自杀倾向的人发的微博或短文本数据作为训练集。

其实这样的数据是挺难找的，尤其是对于我这种需求量比较大的项目。不过好在最后发现了突破口：“微博树洞”。“微博树洞”是指宣告了自杀行为的过世的人的微博，其留言区成为成千上万的抑郁症或是绝望的人的归属，在其下方发布许多负能量甚至是寻死的宣言。

比如走饭的微博：

1.找到微博评论数据接口

微博评论的数据接口有两种，一种是手机版、一种是PC版。手机版能爬到的数据仅仅只有十五页，因此我们从PC版入手，先来看看PC版的接口怎么找，长啥样儿。

首先，在当前微博的页面右键—检查(F12)打开开发者 工具 ，然后按照下图的步骤进行操作(选择NetWork—选择XHR—随便点击另一个评论页—查看右侧新增的请求)：

然后我们看新增的请求，你会发现在Preview中能看到格式化后的数据，而且里面有个html，仔细观察这个html你会发现这个就是评论列表的数据。我们仅需要将这个html解析出来即可。

再看看get请求的URL&