python网络爬虫与信息提取之requests库

requests库的基本应用

requests库的get方法

requessts库实际上只有一个requests方法，其他的都是调用这个方法形成的
对于r.encoding属性而言，它是从http的header部分中的charset字段中得到的，如果header中没有这个字段，则返回的值为ISO-8859-1，而这样的编码并不能解析中文。所以我们根据apparent-encoding来解析更为合适

我试着去爬了一下网易云首页的text，不知道为什么，代码全在一行上显示了出来

爬取网页的通用代码框架

requests库共有六种异常，要做好应对。
response对象返回了页面的全部内容
它有着一个方法：r.raise_for_status():它能够判断返回的response的状态是不是200，如果不是，就会产生异常

我将它们写在同一个文件里可以正常运行，我想到一个比较有意思的，能不能把函数写在另一个文件里，然后调用它，事实证明是可以的。

HTTP协议及requests库方法

HTTP协议：超文本传输协议
URL是通过HTTP协议存取资源的Internet路径。PATCH节省网络带宽。
HTTP协议有一些方法，它的功能与requests库的方法近似相同：
GET和HEADd都是获取URL位置的资源，不同的是：GET是获取全部信息，HEAD是获取头部信息
POST和PUT还有PATCH都是往URL位置的资源添加资源。其中PUT是全覆盖，POST是添加新数据，PATCH是部分更新
DELETE是删除

requests库主要方法解析

params作为参数添加到url中，是字典或字节序列
json作为requests的内容
headers是头字段，可以用来模拟浏览器向服务器发起访问
cookies可以用来解析字典
files字典类型，向服务器传输文件
timeout设定超时时间
proxies：设定代理服务器，防止对爬虫的逆追踪

对于requests库而言

我们经常使用的是get和head方法。另外要使用try except来防止异常。