抓取二进制数据
前面我们抓取知乎的一个页面,实际上它返回的是一个HTML文档。如何抓取图片、音频、视频?
图片、音频、视频这些文件本质上都是由二进制码组成的,由于有特定的保存格式和对应的解析方式,我们才可以看到这些形形色色的多媒体,所以要抓取它们,就要拿到它们的二进制码。
抓取GItHub的站点图标:
import requests
r = requests.get("https://github.com/favicon.ico")
print(r.text)
print(r.content)
这里打印了Response对象的两个属性,一个是text,另一个是content。
如果按照以上的代码,text属性会出现乱码,content前面会出现一个b,这代表bytes类型的数据。由于图片时二进制数据,所以前者在打印时转化为str类型,也就是图片直接转化为字符串,所以会出现乱码。
将提取的图片保存下来:
import requests
r = requests.get("https://github.com/favicon.ico")
with open('favicon.ico', 'wb') as f:
f.write(r.content)
这里用了open()方法,它的第一个参数是文件名称,第二个参数代表以二进制写的形式打开,可以向文件里写入二进制数据。
运行结束之后,可以发现在文件夹中出现了名为favicon.ico的图标。
1.3 POST请求
import requests
data = {'name':'germey', 'age':'22'}
r = requests.post("http://httpbin.org/post", data=data)
print(r.text)
运行结果:
{
"args": {},
"data": "",
"files": {},
"form": {
"age": "22",
"name": "germey"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Content-Length": "18",
"Content-Type": "application/x-www-form-urlencoded",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.18.4"
},
"json": null,
"origin": "221.216.169.171",
"url": "http://httpbin.org/post"
}
1.4 响应
发送请求后,得到的自然就是响应。在上面的实例中,我们使用text和content获取了响应的内容。刺猬,还有很多属性和方法可以用来获取其他信息,比如状态码、响应头、Cookies等。示例如下:
import requests
r = requests.get('http://www.jianshu.com')
print(type(r.status_code), r.status_code)
print(type(r.headers), r.headers)
print(type(r.cookies), r.cookies)
print(type(r.url), r.url)
print(type(r.history), r.history)
这里分别打印输出status_code属性得到状态码,输出headers属性得到响应头,输出cookies属性得到Cookies,输出url属性得到URL,输出history属性得到请求历史。
运行结果如下:
状态码常用来判断请求是否成功,而requests还提供了一个内置的状态码查询对象requests.codes。
2.2 高级用法
2.2.1 文件上传
requests可以模拟提交一些数据。同样也可以使用requests上传文件,示例如下:
import requests
files = {'file':open('favicon.ico', 'rb')}
r = requests.post("http://httpbin.org/post", files=files)
print(r.text)
2.2.2 Cookies
import requests
r = requests.get("https://www.baidu.com")
print(r.cookies)
for key, value in r.cookies.items():
print(key + '=' + value)
运行结果:
这里首先调用cookies属性即可成功得到Cookies,可以发现它是RequestCookiesJar类型。然后用items()方法将其转化Wie元组组成的列表,便利输出每一个Cookie的名称和值,实现Cookie的遍历解析。
2.2.3 会话维持
在requests中,如果直接利用get()或post()等方法的确可以做到模拟网页的请求,但是这实际上是相当远不同的会话,也就是说相当于你用了两个浏览器打开了不同的页面。
维持同一个会话,要打开一个新的浏览器选项卡而不是新开一个浏览器。使用Session对象。
利用Session,可以做到模拟同一个会话而不用担心Cookies的问题,它通常用于模拟登陆成功之后再进行下一步的操作。
一个示例
import requests
s = requests.Session()
s.get('http://httpbin.org/cookies/set/number/123456789')
r = s.get('http://httpbin.org/cookies')
print(r.text)
运行结果:
{
"cookies": {
"number": "123456789"
}
}
2.2.4 SSL证书验证
requests提供了证书验证的功能。当发送HTTP请求的时候,它会检查SSL证书,我们可以使用verify参数控制是否检查此证书。如果不加verify参数的话,默认是True,会自动验证。
import requests
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)
2.2.5 代理设置
对于某些网站,在测试的时候请求几次,能正常获取内容。但是一旦开始大规模爬取,对于大规模且频繁的请求,网站可能会弹出验证码,或者跳转到登录认证页面,更甚者可能会直接封禁客户端的IP,导致一定时间段内无法访问。
为了防止这种情况发生,需要设置代理来解决这个问题,这就需要用到proxies参数。
可以用这样的方式设置:
import requests
proxies = {
"http":"http://10.10.1.10:2128",
"https":"http://10.10.1.10:1080",
}
requests.get("https://www.taobao.com", proxies=proxies)
这个代理可能无效,需要换成有效代理。
若代理需要使用HTTP Basic Auth,可以使用类似http://user:password@host:port 这样的语法来设置代理,示例如下:
import requests
proxies = {
"http":"http://user:password@10.10.1.10:3128/",
}
requests.get("https://www.taobao.com", proxies=porxies)
除了基本的HTTP代理外,requests还支持SOCKS协议的代理。
首先需要安装socks这个库:
pip3 install ‘requests[socks]’
然后就可以使用SOCKS协议代理了,示例如下:
import requests
proxies = {
'http':'socks5://user:password@host:port',
'https':'socks5://user:password@host:port'
}
requests.get("https://www.taobao.com", proxies=proxies)
2.2.6 超时设置
在本机网络状况不好或者服务器网络响应太慢甚至无响应时,可能会等待特别久的时间才可能收到响应,甚至到最后收不到响应而报错。为了防止服务器不能及时响应,应该设置一个超时时间,即超过了这个时间还没有得到响应,那就报错。这需要用到timeout参数。这个时间的计算是发出请求到服务器返回响应的时间。示例如下:
import requests
r = requests.get("https://www.taobao.com", timeout = 1)
print(r.status_code)
通过这样的方式,可以将超时时间设置为1秒,如果1秒内没有响应,就会抛出异常。
实际上,请求分为两个阶段,即连接(connect)和读取(read)。上面设置的timeout将用作连接和读取这二者的timeout总和。
如果要分别指定,就可以传入一个元组:
r = requests.get('https://www.taobao.com', timeout=(5,11,30))
如果想永远等待,可以直接将timeout设置为None,或者不设置直接留空,因为默认是None。这样的话,如果服务器还在运行,但是响应特别慢,就只能慢慢等,它将永远不会返回超时错误的。其用法如下:
r = requests.get("https://www.taobao.com', timeout=None)
2.2.7 身份认证
在访问网站时,可能需要认证,此时可以使用requests自带的身份认证功能,示例如下:
import requests
from requests.auth import HTTPBasicAuth
r = requests.get('http://localhost:5000', auth=HTTPBasicAuth('username', 'password')
print(r.status_code)
如果用户名和密码正确的话,请求时就会自动认证成功,会返回200状态码;如果认证失败,则返回401状态码。
当然,如果参数都传一个HTTPBasicAuth类,就显得烦琐,所以requests提供了一个更简单的写法,可以直接传一个元组,它hi默认使用HTTPBasicAuth这个类来认证。
import requests
r = requests.get('http://localhost:5000', auth=('username', 'password'))
print(r.status_code)
此外,requests还提供了其他认证方式,如OAuth认证,不过此时需要安装oauth包,安装命令如下:
pip3 install requests_oauthlib
使用OAuth1认证的方法如下:
import requests
from requests_oauthlib import OAuth1
url = 'https://api.twitter.com/1.1/account/verify_credentials.json'
auth = OAuth1('YOUR_APP_KEY', 'YOUR_APP_SECRET', 'USER_OAUTH_TOKEN', 'USER_OAUTH_TOKEN_SECRET')
requests.get(url, auth=auth)
2.2.8 Prepared Request
使用urllib时,可以将请求表示为数据结构,其中各个参数都可以通过一个Request对象来表示。在requests里同样可以做到,这个数据结构就叫Prepared Request。示例如下:
from requests import Request, Session
url = 'http://httpbin.org/post'
data = {
'name':'germey'
}
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'}
s = Session()
req = Request('POST', url, data=data, headers=headers)
prepped = s.prepare_request(req)
r = s.send(prepped)
print(r.text)
这里引入了Request,然后用url、data和headers参数构造了一个Request对象,这时需要再调用Session的prepare_request()方法将其转换为一个Prepared Request对象,然后调用send()方法发送即可,运行结果如下:
{
"args": {},
"data": "",
"files": {},
"form": {
"name": "germey"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Content-Length": "11",
"Content-Type": "application/x-www-form-urlencoded",
"Host": "httpbin.org",
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36"
},
"json": null,
"origin": "221.216.169.171",
"url": "http://httpbin.org/post"
}
有了Request这个对象,就可以将请求当作独立的对象来看待,这样在进行队列调度时会非常方便。