爬取网页常见的问题

一、ip被封禁

你好！当你兴奋冲冲的开始尝试第一个爬虫的时候，结果却是空，什么也没爬出来，然后你看到responds后面有个forbideen。哈哈，你的爬虫被人家网站识别出来了。不要丧气，与他战斗到底。

破解IP被封禁的办法

我们被封禁了不要紧，正所谓道高一丈魔高一尺，那么我们怎样破解他呢，一下都是一些简单方法：

1. 随机更换useragent 更换了这个代表你会随机的使用不同的浏览器以及其不同的版本访问你要爬取的网站；
2. 随机更换ip国内有些免费代理网站，你可以爬取那些免费的IP入库，供自己使用。
3. 降低爬取速度，如果你爬取的较快，就会被网站识别出来，你的ip就会被封禁。（重启路由，更换下ip,就可以重新爬取，自己的ip要珍惜，这ip要比爬取的免费代理ip快多了）

二、网站里有验证码

可以使用打码平台的api

三、验证登录

四、动态页面

先写到这里，庆祝自己的第一个爬虫成功入库，等我慢慢更新