1.requests模块发送POST请求
1.1 哪些地方我们会用到POST请求:
- 登录注册( POST 比 GET 更安全)
- 需要传输大文本内容的时候( POST 请求对数据长度没有要求)
所以同样的,我们的爬虫也需要在这两个地方回去模拟浏览器发送post请求
1.2 使用requests模块发送post请求
-
用法: response = requests.post(“http://www.baidu.com/”, data = data,headers=headers)
-
data 的形式:字典
2. 使用代理
2.1 为什么要使用代理
-
让服务器以为不是同一个客户端在请求
-
防止我们的真实地址被泄露,防止被追究