Requests库入门

爬取网页通用代码框架：

try:

r = requests.get(url,timeout=30)

r.raise_for_status() #如果返回的状态码不是200，引发HTTPErrow异常

r.enconding = r.apparent_encoding

return r.text

except:

return "产生异常"

1.

r = requests.get(url,params=None,**kwargs) #获取网页信息的主要方法

url：拟获取页面的url链接

params：url中的额外参数，字典或字节流格式，可选

**kwargs：12个控制访问参数，可选

r：包含爬虫返回的全部对象

2.

r.status_code：检测请求的状态码，如果状态吗是200访问成功，否则失败

r.encoding：从HTTP header中猜测的响应内容编码方式

如果header中不存在charset，则认为编码为ISO-8859-1，这样的编码不能解析中文

r.apparent_encoding：从内容中分析出的响应内容编码方式

r.text：HTTP响应内容的字符串形式，即url对应的页面内容

3.

用get方法获取网络资源流程：

用r.status_code检查他的Respense对象的状态

if 200:

r.text r.encoding r.apparent_encoding 等解析反回内容

else:

某些原因出错将产生异常

4.

r = requests.head(url) #获取网页资源概要信息