python读取网页源代码_求助：关于python中urllib.urlopen读取网页源代码的问题

展开全部

def getUrlRespHtml(url):

heads = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

'Accept-Charset':'GB2312,utf-8;q=0.7,*;q=0.7',

'Accept-Language':'zh-cn,zh;q=0.5',

'Cache-Control':'max-age=0',

'Connection':'keep-alive',

'Host':'John',

'Keep-Alive':'115',

'Referer':url,

'User-Agent':'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.14) Gecko/20110221 Ubuntu/10.10 (maverick) Firefox/3.6.14'}

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor())

urllib2.install_opener(opener)

req = urllib2.Request(url)

opener.addheaders = heads.items()

respHtml = opener.open(req).read()

return respHtml.decode('gbk').encode('utf-8')

给你一个2113返回页面数据的函数试5261试，这个主要是模拟了4102火狐浏览器去抓取数据，因为有些网站不希望1653机器人抓取他的数据，这是可能会出现没有返回值的情况。这个函数加了个头，来模拟浏览器浏览网页的行为。