用网络爬虫爬取新浪新闻----Python网络爬虫实战学习笔记

今天学完了网易云课堂上Python网络爬虫实战的全部课程，特在此记录一下学习的过程中遇到的问题和学习收获。
我们要爬取的网站是新浪新闻的国内版首页

下面依次编写各个功能模块

1.得到某新闻页面下的评论数

评论数的数据是个动态内容，应该是存在服务器上，由js脚本传过来的，因此我们f12打开开发者工具在network下面找到js一栏，观察各个请求的preview页面，看看评论数包含在哪个请求中

经过一番查找后，可以发现在这个请求中含有评论数目的数据，因此可以通过爬取这个请求获取评论数

这是老师给出的爬取评论数的函数

import re
import requests
import json
commentURL='http://comment5.news.sina.com.cn/page/info?version=1&format=json&channel=gn&newsid=comos-{}&group=undefined&\
compress=0&ie=utf-8&oe=utf-8&page=1&page_size=3&t_size=3&h_size=3&thread=1'
def getCommentCounts(newsurl):    
    m = re.search('doc-i(.*).shtml',newsurl)
    newsid = m.group(1)
    comments = requests.get(commentURL.format(newsid))
    jd = json.loads(comments.text)
    return (jd['result']['count']['total'])

由于新闻页面的评论的链接应该都比较相似，用于区分不同新闻的只是用到了newsid一项数据，因此可以先用{}代替，在批量抓取时用newsid替换即可。但是在实际使用时发现有的新闻评论抓取不成功，在用链接替换了newsid之后在地址栏打开会返回一个含有exception的错误数据，提示我们向新浪发送的这个请求出现异常，并没有找到这个新闻的评论，这是怎么回事呢？打开这条新闻，我发现他的评论的请求URL与其他的新闻在channel部分有些不同，大部分的都是gn，而少数则是sh，而我们没有考虑到这种情况，这样在遇到channel为sh的时候就无法抓取到评论，该如何解决呢？我最先想到是用Python的try except来处理没有找到页面的异常，但是可能由于异常是在服务器端的，服务器返回的信息只是告诉我地址有异常，而不是程序出现异常，并不能捕获到，因此我采用了一个比较低级但是很有效的方法：检测服务器返回的信息中是否含有exception字段，下面是考虑到这点后改进的函数，同时加入了处理超时异常的部分

import re
import requests
import json
commentURL1 = 'http://comment5.news.sina.com.cn/page/info?version=1&format=json&channel&