小规模爬取豆瓣所出现的问题

  闲来无事想去爬爬豆瓣的动漫，然后定期爬取解决下剧荒的问题，发现豆瓣对爬虫的存在并不是很友好。

  首先出现的就是验证码的问题，在获得全部的链接后准备逐个访问获取数据时明显感觉到爬取数据有所下降，300个左右的数据用了7分钟左右。其次在爬取300多个数据后，程序报错，返回了response<403>，豆瓣服务器积极拒绝掉了，重新对网页检查了下发现网页的Cookie更换了，但是在更换Cookie后爬了同样的数据后在300的位置又被限制访问了。

  要解决的问题很多，先占个坑先。