SCRAPY之动态设置user-agent和IP代理池
UA代理池和IP代理池1. UA代理池 UA代理池也称作user-agent代理池,目的是在http头部加入user-agent选项,模拟浏览器进行发包给服务器端,起到伪装作用。也是很重要的一种反爬策略之一。 大部分服务器在请求快了会首先检查User_Agent,而scrapy默认的浏览器头是scrapy1.1 我们需要开启并且修改成浏览器头,如:Mozilla/5...
原创
2019-02-04 23:31:23 ·
4649 阅读 ·
0 评论