关于爬虫requets库的学习笔记

1.使用requests主要是以文本形式打印出网页信息
主要形式：
url = ’ ---------’
r=requests.get(url) #构造一个向服务器请求资源的Request对象，并返回一个包含服务器资源的Respend对象
2.r.status_code ：HTTP请求的返回状态，200表示连接成功，404表示失败
r.text ：HTTP响应内容的字符串形式，即URL对应的页面内容
r.enconding : 从HTTPheader中猜测的响应内容编码形式
r.apparent_encoding:从内容中分析出的响应内容编码形式
r.content : HTTP响应内容的二进制形式（主要用在图片、视频等）
r.raise_for_status:如果不是200，产生异常requests.HTTPError
3.爬取网页的通用框架：

try:
	r=requests.get(url,timeout=30)#请求连接
	r.raise_for_status#检查返回状态 , 
                      #情况1：如果是200，可以用r.text、r.encoding、r.apparent_encoding、r.content解析返回的内容； 情况2：返回的是404或者其他，则访问不成功
	r.encoding=r.apparent_encoding#r.encoding：如果header中不存在charset，则认为编码为ISO-8859-1 
                                  #r.apparent_encoding:根据网页内容分析出的编码方式 
                                  #综上所述，r.apparent_encoding比r.encoding更为准确
	return r.text
except:
	return "产生异常"