python爬虫爬取新浪新闻的评论数以及部分评论

首先应该去找到评论数所对应的网页元素：

可以大致猜测，这里是用JavaScript·去计算评论数量的。

刷新页面，去观测页面的js部分，有没有对应的链接，仔细查看：

找到之后，点击Preview，看到内部结构：

可以看出count部分，total代表了参与人数，show字段代表了评论数

就可以判断这就是需要的链接。也可以看出这是一种json数据。点击header，复制链接URL

最后正则表达式部分是抽取出新闻页面的编号。

本来页面的字段是这样：http://comment5.news.sina.com.cn/page/info?version=1&format=json&
channel=gn&newsid=comos-hcufqif2717044&group=undefined&compress=0&ie=utf-8&oe=utf-8&page=1&
page_size=3&t_size=3&h_size=3&thread=1&

callback=jsonp_1528628272255&_=1528628272255

但是发现删除最后一个字段callback之后才能正确获取内容，如果不删除，反而获取会出错。、

而url中间的channel=gn&newsid=comos-hcufqif2717044是新闻的id编号，每个新闻的id编号只有最后的几个数字不同，所以不同的新闻页面只需要更改一下新闻编号就行。为后面写出一个专门抽取新闻评论的函数做铺垫。

 

最后做了一个测试，抓取另一个页面的新闻评论：

很奇怪的是找不到所有评论，只能爬去他给你展示的这么一些评论，就算点击进入全部评论页面，也发现一旦评论数多了以后，也不会全部存储在页面上，只能获取一部分-他给你多少，你就只能爬多少。

爬取新闻文章部分：