1、添加请求头,与浏览器正常请求的头参数一致
2、添加cookie,与浏览器正常请求的cookie一致
3、降低调用频率,使更像是人在操作
4、修改ip。(代码里使用代理ip,代理ip可以到搜索引擎找代理ip商,这里有一个不错的代理商,可注册试用http://www.66daili.cn/?dev=MTWWW)
5、申请多账号、多代理ip轮询抓取
1、添加请求头,与浏览器正常请求的头参数一致
2、添加cookie,与浏览器正常请求的cookie一致
3、降低调用频率,使更像是人在操作
4、修改ip。(代码里使用代理ip,代理ip可以到搜索引擎找代理ip商,这里有一个不错的代理商,可注册试用http://www.66daili.cn/?dev=MTWWW)
5、申请多账号、多代理ip轮询抓取