python网络爬虫基础（1）--request库

网络爬虫，也可以叫做网络数据采集，通过多种方式采集网络数据，不仅是通过API交互或者浏览器的方式，而是写一个自动化的程序向网络服务器请求获取数据，一般我们是获得HTML表单或者类似的网页文件，然后对数据进行解析提取需要的信息。

---

一般来说，网络数据采集，都是通过网络域名获取HTML数据，然后根据目标信息解析数据，存储目标信息，还有可能移动到另一个网页重复这个过程。所以网络爬虫基本上就是这样的过程。

所以我们首先要做的是，怎么把网络文件获取下来。先了解一下使用的python库吧，我们做小型的爬虫用request库就够用了。

requests库

首先需要安装requests库：最简单方便的方法当然是pip:

pip install requests

然后在python IDLE上测试一下能否正常导入就可以检测是否安装成功啦

requests库，一个python的HTTP库，request主要有7个方法如下：

方法	描述
request()	构造一个请求，支撑其余方法的基础方法
get()	获取HTML网页的主要方法，对应于HTTP的GET
head()	获取网页的主要方法，对应于HTTP的HEAD方法
post()	向HTML网页提交POST请求的方法，对应于HTTP的POST
put()	向HTML网页提交PUT请求的方法，对应于HTTP的PUT
patch()	向HTML网页提交局部修改请求的方法，对应于HTTP的PATCH
delete()	向HTML页面提交删除请求，对应于HTTP的DELETE

相应的HTTP基础知识

HTTP是一个基于“请求与响应”模式的，无状态的应用层协议，采用URL作为定向网络资源的标识。URL是通过HTTP协议存取资源的Internet路径，一个URL通常对应一个数据资源。URL的格式http:host[port][path]，host是合法的Internet主机名、域名等IP地址，port是端口号，缺省时默认端口是80，path是请求资源的路径。

HTTP协议对资源的操作：

方法	描述
GET	请求获取URL位置的资源
HEAD	请求获取URL位子资源的响应消息报告，即获得该资源的头部信息
POST	请求向URL位置的资源后附加新的数据
PUT	请求向URL位置存储一个资源，会覆盖原资源
PATCH	请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE	请求删除URL位置存储的资源

PUT和PATCH的区别在于，PATCH仅仅只向URL提交局部更新请求，可以节省网络带宽；PUT将所有的字段一并更改，原内容中的一些字段更改的新内容中如果没有就会被删除。

---

首要的是request方法，其他的方法都是由它引出的
requests.request(method,url,**kwargs)

• method:请求方式，对应get/post/put/等7种。
• url:拟获取页面的URL链接
• **kwargs:控制访问的参数，共13个，均为可选项

参数名	作用
params	字典或者字节序列，作为参数增加到URL中
data	字典，字节序列或文件对象，作为request中的内容
json	json格式的数据，作为request的内容
headers	字典，HTTP的定制头
cookies	字典或cookieJar，request中的cookie
auth	元组，支持HTTP认证功能
files	字典类型，传输文件
timeout	设置超时时间，以秒为单位
proxies	字典类型，设定访问代理服务器，可以增加登录认证
allow_redirects	True/False默认为True重定向开关
stream	True/Flase,默认为True，获取内容即下载开关
verify	True/Flase,默认为True，认证SSL证书开关
cert	本地SSL证书路径

其他方法：

• request.get(url,params=None,**kwargs)
• request.head(url,**kwargs)
• request.post(url,data=None,json=None,**kwargs)
• request.put(url,data=None,**kwargs)
• request.patch(url,data=None,**kwargs)
• request.delete(url,**kwargs)

最常用get方法来获取页面r=requests.get() get方法会构造一个向服务器请求资源的Request对象，执行之后会返回一个包含服务器资源的Response对象，我们让r指向返回的对象。

Response对象的属性有：

属性	描述
r.status_code	HTTP请求的返回状态，200表示连接成功，404表示失败
r.text	HTTP响应内容的字符串形式，即URL对应的页面内容
r.encoding	从HTTP的header中获取的响应内容的编码形式
r.apparent_encoding	根据文本内容分析响应内容的编码方式
r.content	HTTP响应的二进制形式

一般来说，我们常用r.raise_for_status()方法，这个方法自身可以判断r.status_code是否为200，然后我们就可以使用try...except进行异常处理。

我们当然希望每次Requests都能成功的返回正常的Response，但不是每次都会这么幸运的，Request还是有很多异常情况需要处理的。下面的Request异常表就列举了触发的一些异常。

异常	描述
requests.ConnectionError	网络连接错误异常，如DNS查询失败，拒绝连接等
requests.HTTPError	HTTP错误异常
requests.URLRequired	URL缺失异常
requests.TooManyRedirects	超过最大重定向次数，产生重定向异常
requests.ConnectTimeout	连接远程服务器超时异常
requests.Timeout	请求URL超时，产生超时异常
r.raise_for_status()	若状态码不是200，引发HTTPError异常

爬虫通用代码框架：

def get_html_text(url):
    try:
        r = request.get(url,timeout=30)
        r.raise_for_status() # 检查状态码是否为200，也就是是否成功获取页面

        # 默认coding采用header中的定义，常更该为根据文本判断的编码方式
        r.coding = r.apparent_encodeing 

        # header中不存在charset,则默认编码为ISO-8859-1
        # r.text根据r.encoding显示网页内容
        return r.text 
    except:
        return "产生异常"
        ...