python爬虫学习（一）通过urllib2模块获取html，设置用户代理

摘自《用Python写网络爬虫》

第一个爬虫

通过urllib2模块获取html

import urllib2
def getHtml(url,getNum):
    ##避免请求页面不存在或其他异常情况
    try:
        html = urllib2.urlopen(url).read()
    except urllib2.URLError as e:
        print 'get html error:',e.reason
        html = None
        if getNum > 0 :
            if hasattr(e,'code') and 500 <= e.code <=600:
                ##当错误码为5xx时回调
                return getHtml(url,getNum-1)
    return html

PS：错误码503为服务器加载过时，可重新加载。
错误码404为该网页不存在，不可重新加载。

设置用户代理

因有些网站会封禁默认的用户代理，所有我们需要有个控制用户代理的设定。
例：设置一个默认的用户代理“wswp”（即Web Scraping with Python）

import urllib2
def getHtml(url,getNum,user-agent='wswp'):
    ##设置请求头
    request_headers = {'User-agent':user_agent}
    request = urllib2.Request(url,headers=request_headers)
    ##避免请求页面不存在或其他异常情况
    try:
        html = urllib2.urlopen(request).read()
    except urllib2.URLError as e:
        print 'get html error:',e.reason
        html = None
        if getNum > 0 :
            if hasattr(e,'code') and 500 <= e.code <=600:
                ##当错误码为5xx时回调
                return getHtml(url,getNum-1)
    return html

以上这个函数在我们以后的爬虫学习中将会得到灵活的复用。