爬虫通用爬取框架——try-except的运用

爬虫通用爬取框架——try-except的运用
这里可以显示错误的情况

def getHTMLText(url):
	try:
		r = requests.get(url, timeout = 30)
		r.raise_for_status()
		r.encoding = r.apparent_encoding
		return r.text
	 except Exception as e:
        print (e)

这个代码中我们用r.raise_for_status()方法，它能够判断返回的Response类型状态是不是200。如果是200，他将表示返回的内容是正确的，如果不是200，他就会产生一个HttpError的异常。如果网连接出现错误，那么它就会用try-except来获取一个异常。