微博二级评论爬取

dianyin7770

于 2018-03-08 10:06:00 发布

阅读量1.1k

点赞数 3

文章标签： python 爬虫 json

原文链接：http://www.cnblogs.com/c-x-a/p/8526753.html

版权

本文介绍了如何爬取微博的二级评论。首先，访问的初始链接包含固定的参数和一级评论ID，然后通过循环判断是否有更多评论。在解析HTML时，找到更多评论的XPath，并拼接完整URL，加上'from=singleWeiBo'参数以获取二级评论数据。

摘要由CSDN通过智能技术生成

 def wb_child_comment(self,req):
         try:
             main_url = "https://weibo.com/aj/v6/comment/big?ajwvr=6&{}&from=singleWeiBo"
             # self.get_all_content(req)
             #https://weibo.com/aj/v6/comment/big?ajwvr=6&more_comment=big&root_comment_id=4095052063593913&is_child_comment=ture&id=4095051414397198&from=singleWeiBo
             url="https://weibo.com/aj/v6/comment/big?ajwvr=6&more_comment=big&root_comment_id=4213888171751114&is_child_comment=tur&id=4095051414397198&from=singleWeiBo"
             jsonstr = req.get(url).json()
                 #r"https://weibo.com/aj/v6/comment/big?ajwvr=6&more_comment=big&root_comment_id=4215074627189144&is_child_comment=ture&id=40950