Requests深入

Requests深入

一、发送POST请求

1.哪些地方我们会用到POST请求：

1）登录注册（ POST 比 GET 更安全）

2）需要传输大文本内容的时候（ POST 请求对数据长度没有要求）

2.用法：

response = requests.post(“http://www.baidu.com/”, data = data,headers=headers)

data 的形式：字典

二、使用代理

1.为什么爬虫需要使用代理？

让服务器以为不是同一个客户端在请求

防止我们的真实地址被泄露，防止被追究

2.使用代理

用法：requests.get(“http://www.baidu.com”, proxies = proxies)

proxies的形式：字典

根据协议类型，选择不同的代理

proxies = { “http”: “http://12.34.56.79:9527”, 或 “https”: “https://12.34.56.79:9527”, }

3.注意事项

1）准备一堆的ip地址，组成ip池，随机选择一个ip使用

2）如何随机选择代理ip，让使用次数较少的ip地址有更大的可能性被用到

{“ip”:ip