反反爬机制

伪装自己

1. 构造headers 的User-Agent、Cookie/Referer
2. 随机产生 User-Agent
   每次请求都随机产生一个代理

python -m pip install fake-useragent
from fake_useragent import UserAgent
ua = UserAgent().random  #属性

#反反爬利器

3. 随机代理IP
   

import requsts
res = requests.get(url,headers=headers,proxies={
   "http":"http://ip:port","https":"https://ip:port"})
#同一个ip,两种协议

免费的代理IP 一般不好用
查看本机的出口IP
1.搜索IP
2.请求httpbin.org/get

构建代理IP池

抓取代理IP，并测试哪些可用，存入db

#测试
try:
	res = requests.get(url,headers=headers,proxies=proxy,timeout=3)
	if res.status_code==200<