web 端的爬虫

对于网络爬虫，找准需要抓取的内容位置是首先遇到的问题。

新闻资讯类的网站，由于需要快速被搜索引擎搜索到，所以要抓取的内容90%都会在Doc里，不在Doc再去XHR里查找，最后去JS里查找。

如果响应内容在Doc里，一般在html请求的Response里可以查找到网页元素；如果在XHR和JS里，则需要在Preview的result里查找，一般为json格式，需要import json，通过json.laods方法将抓取的数据存到字典里。

如一个评论数通过一个js来计算获取，通过查找js，发现Headers里的get请求链接为

http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=gn&newsid=comos-fykpysa3541301&group=&compress=0&ie=utf-8&oe=utf-8&page=1&page_size=20’

comments = requests.get(‘http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=gn&newsid=comos-fykpysa3541301&group=&compress=0&ie=utf-8&oe=utf-8&page=1&page_size=20’).text.strip(‘var data=’)
jd = json.loads(comments)
print(jd[‘result’][‘count’][‘total’])
由于每个新闻链接的地址变化部分仅为fykpysa3541301部分，可将该部分进行抽取处理，处理成一个获取评论数的函数：

newsurl = http://news.sina.com.cn/c/nd/2017-09-06/doc-ifykpysa3541301.shtml

def getCommentCount(newsurl):
m = re.search(‘doc-i(.*).shtml’,newsurl)
newsid = m.group(1)
comments = requests.get(commentURL.format(newsid))
jd = json.loads(comments.text.strip(‘var data=’))
return jd[‘result’][‘count’][‘total’]