- 博客(2)
- 收藏
- 关注
转载 python爬虫防止IP被封的一些措施
在编写爬虫爬取数据的时候,因为很多网站都有反爬虫措施,所以很容易被封IP,就不能继续爬了。在爬取大数据量的数据时更是瑟瑟发抖,时刻担心着下一秒IP可能就被封了。 本文就如何解决这个问题总结出一些应对措施,这些措施可以单独使用,也可以同时使用,效果更好。 伪造User-Agent 在请求头中把User-Agent设置成浏览器中的User-Agent,来伪造浏览器访问。比如: headers = {‘...
2020-02-28 19:18:36 336
原创 python爬虫 AttributeError: 'NoneType' object has no attribute 'children' 错误
今天看python爬虫的视频,然后按照视频上的内容编写代码,运行时出现了 运行程序后的错误提示: for tr in soup.find('tbody').children: AttributeError: 'NoneType' object has no attribute 'children' 感谢博主:爱搬砖的小迷糊,的分享,让我很快找出了错误。 属性错误:‘NoneType’...
2020-02-17 23:13:54 1345
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人