爬虫常用三大库-------------Request库

一、Request的安装

在Python简介与环境配置中我们已经安装了PIP管理工具，如果你是2.x版本，也可以使用easy_install来安装Request库，他可以帮助我们很容易的安装三方库：

使用pip安装Request

pip3 install requests

 

二、Request的使用

在python中引入三方模块非常简单，只需要import引入即可：

import requests

req = requests.get("https://baidu.com")
print(req.text)

这样我们即可快速提取目标网页的代码，使用起来非常方便！

1、Request基本请求方式

你可以通过requests库发送所有的http请求：

requests.get("http://httpbin.org/get") #GET请求
requests.post("http://httpbin.org/post") #POST请求
requests.put("http://httpbin.org/put") #PUT请求
requests.delete("http://httpbin.org/delete") #DELETE请求
requests.head("http://httpbin.org/get") #HEAD请求
requests.options("http://httpbin.org/get") #OPTIONS请求

2、使用Request发送GET请求

想要使用爬虫获取某个目标网页，直接使用get方法即可发送HTTP GET请求：

req = requests.get("http://httpbin.org/get")

通常情况下我们不会只访问基础网页，特别是爬取动态网页时我们需要传递不同的参数获取不同的内容；GET传递参数有两种方法，可以直接在链接中添加参数或者利用params添加参数：

import requests

payload = {'key1': 'value1', 'key2': 'value2'}
req = requests.get("http://httpbin.org/get", params=payload)
# 方法二
# req = requests.get("http://httpbin.org/get?key2=value2&key1=value1")
print(req.url)

3、使用Request发送POST请求

其实发送POST请求与GET方式很相似，只是参数的传递我们需要定义在data中即可：

import requests

payload = {'key1': 'value1', 'key2': 'value2'}
req = requests.post("http://httpbin.org/post", data=payload)
print(req.text)

(1)、POST发送JSON数据

很多时候你想要发送的数据并非编码为表单形式的,发现特别在爬取很多java网址中出现这个问题。如果你传递一个string而不是一个 dict，那么数据会被直接发布出去。我们可以使用json.dumps()是将dict转化成str格式;此处除了可以自行对dict进行编码，你还可以使用json参数直接传递，然后它就会被自动编码。

import json
import requests

url = 'http://httpbin.org/post'
payload = {'some': 'data'}

req1 = requests.post(url, data=json.dumps(payload))
req2 = requests.post(url, json=payload)
print(req1.text)
print(req2.text)

(2)、POST文件上传

如果我们要使用爬虫上传文件，可以使用file参数：

url = 'http://httpbin.org/post'
files = {'file': open('test.xlsx', 'rb')}

req = requests.post(url, files=files)
req.text

如果有熟悉WEB开发的伙伴应该知道，如果你发送一个非常大的文件作为multipart/form-data请求，你可能希望将请求做成数据流。默认下requests不支持, 你可以使用requests-toolbelt三方库。

4、请求会话

在很多时候我们开发的爬虫需要登录，登录后我们需要记录登录状态，否则无法爬取登录后才能爬取的网页，在request中提供了requests.Session()这样的类:

import requests
s = requests.Session()
s.get('http://httpbin.org/get')

这样我们的request只要调用一次登录入口就会自动维护网站的Session记录我们的登录状态，以后我们可以直接使用request访问登录才能访问的页面。

5、Cookie获取

我们可以使用cookies来获取响应中的cookie: 如果某个响应中包含一些 cookie，你可以快速访问它们：

req = requests.get("https://ptorch.com")
print(req.cookies)
print(req.cookies['laravel_session'])

要想发送你的cookies到服务器，可以使用cookies参数：

cookies = dict(cookies_are='working Test')

req = requests.get("http://httpbin.org/cookies", cookies=cookies)
print(req.text)
# '{"cookies": {"cookies_are": "working Test"}}'

Cookie的返回对象为RequestsCookieJar，它的行为和字典类似，但界面更为完整，适合跨域名跨路径使用。你还可以把Cookie Jar传到Requests中：

jar = requests.cookies.RequestsCookieJar()
jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
url = 'http://httpbin.org/cookies'
req = requests.get(url, cookies=jar)
print(req.text)
# '{"cookies": {"tasty_cookie": "yum"}}'

保存cookie方便下次访问,我们需要将CookieJar转为字典或者将字典转为CookieJar

#将CookieJar转为字典：
cookies = requests.utils.dict_from_cookiejar(r.cookies)

#将字典转为CookieJar：
cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True)

 

6、代理

很多情况下网址具有反爬虫机制，如果我们的访问量达到一定的数量会封掉我们的IP,比如很多朋友爬取微信文章常常需要使用代理，你可以通过proxies参数为任意请求来设置代理，我们可以百度免费代理来获取一些免费的代理，速度不是很快，但是练习足够了。

import requests

proxies = {
  "https": "http://127.0.0.1:4433"
}
req = requests.post("http://httpbin.org/post", proxies=proxies)
print(req.text)

 

7、请求头设置

爬虫中我们需要定制请求头来修改我们的HTTP请求，特别是很多发爬虫工具禁止脚本访问，我们可以设置headers参数来模拟浏览器访问，同时我们还可以通过headers来传递cookie来保持我们的登录状态：

headers = {'user-agent': 'my-app/0.0.1'}
req = requests.get("https://api.github.com/some/endpoint", headers=headers)

 

三、获取Request响应

爬虫中我们发送了请求，我们可以使用如下方法获取Request响应用于分析和检测：

# 响应状态码
req.status_code
# 响应头
req.headers
# 获取请求链接
req.url
# 获取网页编码
req.encoding
# 获取cookie
req.cookies
# 获取网页代码
req.text