python爬虫利器-request库_网络爬虫利器--requests-CSDN博客

request库比urllib2库更为高级，因为其功能更强大，更易于使用。使用该库可以十分方便我们的抓取。

基本请求

r = requests.get('http://cuiqingcai.com')
r = requests.post("http://httpbin.org/post")
r = requests.put("http://httpbin.org/put")
r = requests.delete("http://httpbin.org/delete")
r = requests.head("http://httpbin.org/get")
r = requests.options("http://httpbin.org/get")

基本GET请求：

添加参数，可以使用params参数，添加headers，可以使用headers参数

import requests
 
payload = {'key1': 'value1', 'key2': 'value2'}
headers = {'content-type': 'application/json'}
r = requests.get("http://httpbin.org/get", params=payload, headers=headers)
print r.url

获取服务器原始套接字响应

r = requests.get('https://github.com/timeline.json', stream=True)
r.raw
<requests.packages.urllib3.response.HTTPResponse object at 0x101194810>
r.raw.read(10)
'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'

基本POST请求：

表单形式传输数据：

import requests
 
payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.post("http://httpbin.org/post", data=payload)
print r.text

jason格式传输数据：

import json
import requests
 
url = 'http://httpbin.org/post'
payload = {'some': 'data'}
r = requests.post(url, data=json.dumps(payload))
print r.text

如果要上传文件，直接使用file参数：

import requests
 
url = 'http://httpbin.org/post'
files = {'file': open('test.txt', 'rb')}
r = requests.post(url, files=files)
print r.text

Cookies：

获取cookies：

import requests
 
url = 'http://example.com'
r = requests.get(url)
print r.cookies
print r.cookies['example_cookie_name']

发送cookies：

import requests

url = 'http://httpbin.org/cookies'
cookies = dict(cookies_are='working')
r = requests.get(url, cookies=cookies)
print r.text

超时配置：

requests.get('http://github.com', timeout=0.001)

代理设置：

mport requests
 
proxies = {
  "https": "http://41.118.132.69:4433"
}
r = requests.post("http://httpbin.org/post", proxies=proxies)
print r.text

SSL证书验证：

HTTPS开头的网站十分常见，requests可以为HTTPS请求验证SSL证书，通过使用verify参数

import requests
 
r = requests.get('https://kyfw.12306.cn/otn/', verify=True)
print r.text

12306网站的证书无效，通过设置verify=fasle。通过证书有效的网站设置verify=true.默认情况下verify是True。

port requests
 
r = requests.get('https://github.com', verify=True)
print r.text

会话对象：

以上请求其实相当于发送一个新的请求，相当于每个请求都用不同的浏览器单独打开的效果，也就是它们并不是指的一个会话。

不在一个会话中，无法获取cookies，在一些站点中，需要保持一个持久的会话，在不同的选项卡之间跳转。

import requests
 
s = requests.Session()
s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
r = s.get("http://httpbin.org/cookies")
print(r.text)

这样就可以成功设置cookies和获取cookies

{
  "cookies": {
    "sessioncookie": "123456789"
  }
}

import requests
 
s = requests.Session()
s.headers.update({'x-test': 'true'})
r = s.get('http://httpbin.org/headers', headers={'x-test2': 'true'})
print r.text

结果是同一个会话，两个变量都传进去了

{
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.9.1", 
    "X-Test": "true", 
    "X-Test2": "true"
  }
}

r = s.get('http://httpbin.org/headers', headers={'x-test': 'true'})

覆盖掉原来的全局配置

{
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.9.1", 
    "X-Test": "true"
  }
}

通过设置None不想要全局变量中的一个配置：

r = s.get('http://httpbin.org/headers', headers={'x-test': None})

结果：

{
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.9.1"
  }
}