(1)网站要求在浏览器的请求头加上浏览器标识时
使用,User-Agent 伪装浏览器
(2)当网站限制 IP 时,
使用代理 IP,或者伪装 IP
(3)当网站要求 cookie 验证时,
一般的做法是 IP + User-Agent 去访问,然后会返回来一个cookie,
再用这个 cookie + IP + User-Agent 去访问
(4)设置下载延迟,因为速度过快,也容易被抓
time.sleep(5)
爬虫如何绕开目标地址的反爬机制
最新推荐文章于 2022-01-30 21:28:58 发布