Python-Requests爬虫学习

安装Requests

pip install requests

发送请求

发送简答请求

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 简单的发送请求
res = requests.get(url)

发送表单请求

import requests

url = 'https://v1.hitokoto.cn'
data = {
    'key': 'value'
}
res = requests.post(url, data = data)

发送各种请求

import requests

url = 'https://v1.hitokoto.cn'
data = {
    'key': 'value'
}
res = requests.post(url, data = data)
res = requests.put(url, data = data)
res = requests.get(url)
res = requests.delete(url)

传递参数

通过params关键字参数

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 请求句子类型为动画的句子
payload = {
    'c': 'a'
}
# 也可以传列表
payload = {
    'key1': 'value1', 
    'key2': [
        'value2', 
        'value3'
    ]
}

res = requests.get(url, params=payload)

# 打印链接
print(res.url)

# https://v1.hitokoto.cn/?c=a

获取响应内容

普通打印内容

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 请求句子类型为动画的句子
payload = {
    'c': 'a'
}

res = requests.get(url, params=payload)

# 打印编码方式
print(res.encoding)

# utf-8

# 打印响应内容 res.text
print(res.text)

# {"id":144,"uuid":"afc77440-3696-4425-b236-6e9db32ca6c5","hitokoto":"正因为听不见和看不到，所以风子才会做这样的事情。","type":"a","from":"clannad","from_who":null,"creator":"悠光喵~~","creator_uid":0,"reviewer":0,"commit_from":"web","created_at":"1468605910","length":24}

二进制打印内容

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 请求句子类型为动画的句子
payload = {
    'c': 'a'
}

res = requests.get(url, params=payload)


print(res.content)
# b'{"id":840,"uuid":"5fb5b2d1-c54e-4c3c-a807-81ac777a80a7","hitokoto":"El Psy Congroo..","type":"a","from":"\xe5\x91\xbd\xe8\xbf\x90\xe7\x9f\xb3\xe4\xb9\x8b\xe9\x97\xa8","from_who":null,"creator":"hitokoto","creator_uid":1775,"reviewer":0,"commit_from":"web","created_at":"1478787580","length":16}'

JSON 响应内容

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 请求句子类型为动画的句子
payload = {
    'c': 'a'
}

res = requests.get(url, params=payload)


print(res.json())

# {'id': 540, 'uuid': '7e365e02-18f0-451d-b359-b8a9f52b6a4f', 'hitokoto': '在灾难面前，如果连英雄都逃跑了，那还有谁能站出来？', 'type': 'a', 'from': '一拳超人', 'from_who': None, 'creator': '没了', 'creator_uid': 12, 'reviewer': 0, 'commit_from': 'web', 'created_at': '1472551464', 'length': 25}

获取服务器的原始响应内容

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 请求句子类型为动画的句子
payload = {
    'c': 'a'
}

res = requests.get(url, params=payload, stream=True)

# Response.iter_content 将会处理大量直接使用 Response.raw 不得不处理的
print(res.raw)
print(res.raw.read(10))

# <urllib3.response.HTTPResponse object at 0x000001F50E96B250>
# b'{"id":998,'

定制请求头

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 请求句子类型为动画的句子
payload = {
    'c': 'a'
}
headers = {
    'user-agent': 'my-app/0.0.1'
}

res = requests.get(url, params=payload, headers=headers)

POST一个多部分编码(Multipart-Encoded)的文件

Requests 使得上传多部分编码文件变得很简单

url = 'http://httpbin.org/post'
files = {'file': open('report.xls', 'rb')}

r = requests.post(url, files=files)
r.text
{
  ...
  "files": {
    "file": "<censored...binary...data>"
  },
  ...
}

显式地设置文件名，文件类型和请求头

url = 'http://httpbin.org/post'
files = {'file': ('report.xls', open('report.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})}

r = requests.post(url, files=files)
r.text
{
  ...
  "files": {
    "file": "<censored...binary...data>"
  },
  ...
}

发送作为文件来接收的字符串

url = 'http://httpbin.org/post'
files = {'file': ('report.csv', 'some,data,to,send\nanother,row,to,send\n')}

r = requests.post(url, files=files)
r.text
{
  ...
  "files": {
    "file": "some,data,to,send\\nanother,row,to,send\\n"
  },
  ...
}

响应状态码

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 请求句子类型为动画的句子
payload = {
    'c': 'a'
}

res = requests.get(url, params=payload)

# 1
print(res.status_code)

# 2
res.status_code == requests.codes.ok
# True

响应头

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 请求句子类型为动画的句子
payload = {
    'c': 'a'
}

res = requests.get(url, params=payload)

# 1
print(res.headers)

# {'Date': 'Tue, 17 Nov 2020 14:01:59 GMT', 'Content-Type': 'application/json; charset=utf-8', 'Content-Length': '288', 'Connection': 'keep-alive', 'X-Request-Id': '8c5ad5d4-ff5f-4420-ac3f-0370ab71bd10', 'X-DNS-Prefetch-Control': 'off', 'X-Frame-Options': 'SAMEORIGIN', 'Strict-Transport-Security': 'max-age=15552000; includeSubDomains', 'X-Download-Options': 'noopen', 'X-Content-Type-Options': 'nosniff', 'X-XSS-Protection': '1; mode=block', 'X-Cache': 'MISS from cache.51cdn.com', 'X-Via': '1.1 VM-MIG-01u5x142:6 (Cdn Cache Server V2.0)', 'X-Ws-Request-Id': '5fb3d7d7_VM-MIG-01u5x142_5854-37570'}

# 访问响应头里的字段
res.headers['Content-Type']
'application/json'

res.headers.get('content-type')
'application/json'

Cookie

发送Cookie到服务器

cookies = dict(cookies_are='working')

r = requests.get(url, cookies=cookies)
r.text
'{"cookies": {"cookies_are": "working"}}'

# Cookie 的返回对象为 RequestsCookieJar，它的行为和字典类似，但接口更为完整，适合跨域名跨路径使用。还可以把 Cookie Jar 传到 Requests 中
jar = requests.cookies.RequestsCookieJar()
jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
url = 'http://httpbin.org/cookies'
r = requests.get(url, cookies=jar)
r.text
'{"cookies": {"tasty_cookie": "yum"}}'

设置超时

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 请求句子类型为动画的句子
payload = {
    'c': 'a'
}

# 在0.01秒后停止响应
res = requests.get(url, params=payload, timeout=0.01)

异常

遇到网络问题（如：DNS 查询失败、拒绝连接等）时，Requests 会抛出一个 ConnectionError 异常。

如果 HTTP 请求返回了不成功的状态码， Response.raise_for_status() 会抛出一个 HTTPError 异常。

若请求超时，则抛出一个 Timeout 异常。

若请求超过了设定的最大重定向次数，则会抛出一个 TooManyRedirects 异常。

所有Requests显式抛出的异常都继承自 requests.exceptions.RequestException 。