1. 不要用一个IP狂爬
所以要准备一堆可用的代理IP,如果公司有额外的比较闲的IP最好了,闲着也是闲着,在不影响正常业务的提前下,多换IP。否则就要想办法获取免费代理。
2.勤换UA
很多人喜欢在配置中列一些UA, 其实吧,可以使用python库--fake-useragent,当然需要先pip安装。其实我也推荐大家伪装成各大搜索网站的UA,比如GoogleUA 有这样一些
所以要准备一堆可用的代理IP,如果公司有额外的比较闲的IP最好了,闲着也是闲着,在不影响正常业务的提前下,多换IP。否则就要想办法获取免费代理。
很多人喜欢在配置中列一些UA, 其实吧,可以使用python库--fake-useragent,当然需要先pip安装。其实我也推荐大家伪装成各大搜索网站的UA,比如GoogleUA 有这样一些