爬虫中最实用的requests 请求

requests 模块介绍

对比：urllib使用麻烦
安装：pip install requests
requests的简单get请求
requests.get + headers
requests.get + headers + params
requests.get + headers + params + proxy

1.requests 基本语法

get请求

**import requests
url = ‘…’
headers = {
“User-Agent”:’…’
}
params = {
‘key’: ‘value’
}
proxies = {
‘http’: ‘http://127.0.0.1:8080’
‘https’: ‘http://127.0.0.1:8899’
}
res = requests.get(url=url, headers=headers, params=params, proxies=proxies)

post请求

import requests
url = ‘…’
headers = {
“User-Agent”:’…’
}
data = {
‘key’: ‘value’
}
proxy = {
‘http’: ‘http://127.0.0.1:8080’,
‘https’: ‘http://127.0.0.1:8899’
}
res = requests.post(url=url, headers=headers, data=data, proxies=proxies)

2.代理分为三种：

透明代理
匿名代理
高匿代理

反爬机制与反反爬策略

反爬机制：UA检测
反反爬策略：UA伪装

3. 响应数据

获取响应数据内容：
res.text 获取HTML文本
res.content 获取二进制流
res.json() 获取json数据

响应数据的属性

	res_code = res.status_code  # 响应状态码(*)
    res_headers = res.headers  # 响应头信息
    res_url = res.url  # 此响应对应的请求url
    res_cookie = res.cookies  # 响应的cookies(*)
    res_history = res.history  # 请求历史

刚开始写 写的不好的地方或者哪些地方有误，请各位大佬纠正 请各位网友欢迎评论