爬虫复杂的请求方法

1.代理IP原理：以本机先访问代理IP，再通过代理IP地址访问互联网，这样网站接受到的访问IP就是代理IP地址。

#代理IP
import requests

proxies = {
    "http":"http://10.10.1.10:3128",
    "https":"http://10.10.1.10:1080",
}

r = requests.get("http://www.baidu.com",proxies = proxies)

2.请求头;

import requests

headers = {
    "User-Agent":"Mozilla/5.0"
}
r = requests.get("http://www.baidu.com",headers = headers)
print(r.status_code)

3.超时设置：发送请求后，由于网络，服务器等因素，请求到获得相应会有一个时间差，如果不想程序等待时间过长或者延长等待时间，可以设定tiemout的等待秒数，超过这个时间之后停止等待响应，如果服务器在timeout秒内没有应答，将会引发一个异常。

r = requests.get("http://www.baidu.com",timeout = 0.1)

4.证书验证
一些特殊的网站需要安装证书，如12306，确保数据传输的安全性程序中通常设置关闭验证即可。默认情况下是True

r = requests.get("http://www.baidu.com",verify = False)

开启证书验证

r = requests.get("http://www.baidu.com",verify = True)

如果需要设置证书文件，可以设置证书路径

r = requests.get("http://www.baidu.com",verify = "证书路径")