python爬虫requests库

在python编写的网络爬虫中， requests库应该是最常用的库了，这里总结了一些requests库常见的函数

requests库的基本方法：

• requests.request()     构造一个请求， 支撑以下各方法的基础方法
• requests.get()    获取HTML网页的主要方法， 对应于HTTP的GET
• requests.head()    获取HTML网页头信息的方法， 对应于HTTP的HEAD
• requests.post()    向HTML网页提交POST请求， 对应于HTTP的POST
• requests.put()    向HTML网页提交PUT请求， 对应于HTTP的PUT
• requests.patch()    向HTML网页提交局部更新请求， 对应于HTTP的patch
• requests.delete()    向HTML网页提交删除请求， 对应于HTTP的DELETE

下面详细说以下这七种方法的语法和作用：

requests.request(method, url, **kwargs)

method： 请求方式

• r = requests.request('GET', url, **kwargs)

• r = requests.request('HEAD', url, **kwargs)

• r = requests.request('POST', url, **kwargs)

• r = requests.request('PUT', url, **kwargs)

• r = requests.request('PATCH', url, **kwargs)

• r = requests.request('DELETE' , url. **kwargs)

• r = requests.request(''OPTIONS', url, **kwargs)   向服务器获取服务器可以和客户端打交道的参数（用到的较少）

其中各参数的含义和作用如下：

• url： 请求页面的链接地址

• **kwargs：控制访问的参数，共有13个，那么这13个参数分别对应的是什么呢？

• params：字典或字节序列， 作为参数增加到url中,使用这个参数可以把一些键值对以?key1=value1&key2=value2的模式增加到url中

例如：kv = {'key1: ' values',  'key2': 'values'}

            r = requests.request('GET', 'http:www.python123.io/ws', params=kw)

• data：字典，字节序或文件对象，重点作为向服务器提供或提交资源是提交，，作为request的内容，与params不同的是，data提交的数据并不放在url链接里， 而是放在url链接对应位置的地方作为数据来存储。，它也可以接受一个字符串对象。

• json：json格式的数据， json合适在相关的html，http相关的web开发中非常常见， 也是http最经常使用的数据格式， 他是作为内容部分可以向服务器提交。

例如：kv = {''key1': 'value1'}

           r = requests.request('POST', 'http://python123.io/ws', json=kv)

• headers：字典是http的相关语，对应了向某个url访问时所发起的http的头i字段， 可以用这个字段来定义http的访问的http头，可以用来模拟任何我们想模拟的浏览器来对url发起访问。

例子： hd = {'user-agent': 'Chrome/10'}

            r = requests.request('POST', 'http://python123.io/ws', headers=hd)

• cookies：字典或CookieJar，指的是从http中解析cookie

• auth：元组，用来支持http认证功能

• files：字典， 是用来向服务器传输文件时使用的字段。

例子：fs  = {'files': open('data.txt', 'rb')}

           r = requests.request('POST', 'http://python123.io/ws', files=fs)

• timeout: 用于设定超时时间， 单位为秒，当发起一个get请求时可以设置一个timeout时间， 如果在timeout时间内请求内容没有返回， 将产生一个timeout的异常。

• proxies：字典， 用来设置访问代理服务器。

• allow_redirects: 开关， 表示是否允许对url进行重定向， 默认为True。

• stream: 开关， 指是否对获取内容进行立即下载， 默认为True。

• verify：开关， 用于认证SSL证书， 默认为True。

• cert： 用于设置保存本地SSL证书路径

 

request方法对应的requests库中的方法：

• requests.get(url, params=None, **kwargs)

url: 用于获取页面的url链接

params：url中的额外参数， 字典或字节流格式， 可选

**kwargs： 12个控制访问的参数， 见以上

• requests.head(url, **kwargs)

url： 拟获取页面的url链接

**kwargs:  13个控制访问的参数， 见以上

• requests.post(url, data=None, json=None, **kwargs)

url： 拟更新的url链接

data： 字典，字节序列或文件， Requests的内容

json：JSON格式的数据，Requests的内容

**kwargs: 11个控制访问的参数

• requests.put(url, data=None, **kawrgs)

url：拟更新页面的url链接

data： 字典， 字节序列或文件， Requests的内容

**kwargs: 12个控制访问的参数

• requests.patch(url, data=None, **kwargs)

url: 拟更新页面的url链接

data： 字典，字节序列或文件， Requests的内容

**kwargs: 12个控制访问的参数

• requests.delete(url, **kwargs)

url: 拟访问页面的url链接

**kwargs: 13个控制访问的参数

 

其中这些方法中，get方法是这六个方法中最常用的方法，举个例子

#使用requests库get方法，抓取指定图片
# response_get=requests.get("图片地址")
# 将图片以png的形式存与文件中
# with open("firse.png","wb") as f:
#     f.write(response_get.content)