Python中Requests的深入了解

Requests的深入了解

Requests 是 Python 中一个非常流行的 HTTP 库，用于发送 HTTP/1.1 请求。与 Python 标准库中的 urllib 相比，Requests 模块提供了更简洁、易用的 API，使得发送网络请求和处理响应变得更加简单。Requests 支持多种 HTTP 方法，如 GET、POST、PUT、DELETE 等，并且能够自动处理 URL 编码、会话（Session）管理、cookies、重定向等常见任务。

安装 Requests
在使用 Requests 之前，你需要先通过 pip 安装它。打开你的命令行工具，然后输入以下命令：

基本POST请求（data参数）

1. 最基本post方法

POST方法介绍
在HTTP协议中，POST方法是一种用于向指定资源提交数据以进行处理请求的方法。当需要提交表单数据、上传文件或发送需要被服务器处理的数据时，通常会使用POST方法。

POST方法的特点：
数据包含在请求体中：与GET方法不同，POST方法提交的数据包含在HTTP请求的body部分，而不是URL的查询字符串中。这意味着POST请求可以发送大量的数据，并且不会受到URL长度限制的影响。
安全性：由于数据包含在请求体中，而不是明文显示在URL中，因此POST方法在一定程度上提高了数据传输的安全性。然而，这并不意味着POST方法本身是加密的或安全的，它仍然需要配合其他安全措施（如HTTPS）来使用。
可修改资源：POST请求通常用于创建新的资源或修改现有的资源。与GET请求不同，POST请求可能会改变服务器上的数据状态。

response = requests.post("http://www.baidu.com/", data = data)

2. 传入data数据

对于 POST 请求来说，我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。

import requests

formdata = {
    "type":"AUTO",
    "i":"i love python",
    "doctype":"json",
    "xmlVersion":"1.8",
    "keyfrom":"fanyi.web",
    "ue":"UTF-8",
    "action":"FY_BY_ENTER",
    "typoResult":"true"
}

url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null"

headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}

response = requests.post(url, data = formdata, headers = headers)

print (response.text)

# 如果是json文件可以直接显示
print (response.json())

3.代理（proxies参数）

如果需要使用代理，你可以通过为任意请求方法提供 proxies 参数来配置单个请求：
代理（proxies参数）在Python的requests模块中扮演着重要的角色，主要用于在网络请求中隐藏客户端的真实IP地址，提高隐私保护和安全性，以及绕过一些地区或网络限制。以下是关于proxies参数的详细介绍：

一、代理的基本概念
代理是一种中间服务器，它在客户端和目标服务器之间充当桥梁的角色。代理服务器帮助转发客户端的请求，并将目标服务器的响应返回给客户端。通过设置proxies代理参数并指定代理IP，客户端的请求会被发送到代理服务器，而不是直接访问目标服务器。

二、proxies参数的作用
隐藏真实IP：通过代理服务器发送请求，可以隐藏客户端的真实IP地址，提高隐私保护。
绕过访问限制：代理允许绕过一些地区或网络限制，访问被屏蔽的内容。
防止IP被封：在数据采集和网络爬虫中，代理可帮助在多个网站之间轮流采集数据，防止因频繁请求而被封IP。
提高安全性：代理可过滤恶意内容，保护客户端免受恶意攻击。
三、proxies参数的分类
根据匿名度和协议的不同，代理可以分为多种类型：

根据匿名度分类：
高匿代理：Web端只能看到代理IP，无法发现客户端在使用代理，隐私保护最好。
普通代理：Web端知道有人通过此代理IP访问，但不知道用户的真实IP。
透明代理：Web端能看到用户的真实IP，也能看到代理IP。
根据协议分类：
HTTP代理：适用于访问使用HTTP协议的网站。
HTTPS代理：适用于访问使用HTTPS协议的网站，提供更高的安全性。
SOCKS代理：不关心具体的应用协议（如FTP、HTTP和HTTPS等），仅传递数据包，相对于HTTP和HTTPS代理，SOCKS代理通常耗时较少，具有更强的灵活性。

import requests

# 根据协议类型，选择不同的代理
proxies = {
  "http": "http://12.34.56.79:9527",
  "https": "http://12.34.56.79:9527",
}

response = requests.get("http://www.baidu.com", proxies = proxies)
print response.text

也可以通过本地环境变量 HTTP_PROXY 和 HTTPS_PROXY 来配置代理：

export HTTP_PROXY="http://12.34.56.79:9527"
export HTTPS_PROXY="https://12.34.56.79:9527"

3. 私密代理

import requests

# 如果代理需要使用HTTP Basic Auth，可以使用下面这种格式：
proxy = { "http": "mr_mao_hacker:sffqry9r@61.158.163.130:16816" }

response = requests.get("http://www.baidu.com", proxies = proxy)

print (response.text)