python爬取网页的代码_【Python爬虫】爬取网页的通用代码

Request库的异常

requests.ConnectionError：网络连接错误一场，如DNS查询失败，拒绝连接等

requests.HTTPError：HTTP错误异常

requests.URLRequired：URL缺失异常

requests.TooManyRedirects：超过最大重定向次数，产生重定向异常

requests.ConnectTimenout：连接远程服务器超时异常

requests.Timeout：请求URL超时，产生超时异常

r.raise_for_status()：如果不是200，产生异常requests.HTTPError”””

爬取网页的通用代码框架：

import requests

def getHTMLText(url):

try:

r=requests.get(url,timeout=30)

r.raise_for_status#如果状态不是200，引发HTTPError异常

r.encoding=r.apparent_encoding

return r.text

except:

return"产生异常"

if name=="main":

url="http://www.baidu.com"

print(getHTMLText(url))

喜欢 (2)or分享 (0)