scrapy采集数据目标网站返回 301问题的解决

今天，在采集数据的时候，目标网站一直返回301，百思不得其解，在网上也找了好多的解决办法，大多不靠谱，经过分析后，问题终于解决了，

目标网站返回301的原因肯定是，爬虫伪装的不够好，被服务器识别出是爬虫，所以直接返回了301后者是404,403等状态码。

解决办法是：通过f12分析，得到浏览器访问网站是带的一些参数，如下图：

可以一个一个的试验，看到底是那几个参数是关键参数，一般来说肯定有User-Agent,Cookie等，但有的网站也会带上其他的参数，当一时找不到是那几个参数时，可以采用排除法，这些会快一些。

分析出来是那几个参数时，就可以在爬虫程序里面添加上，基本上就能解决问题了。

 

转载于:https://www.cnblogs.com/zhengdongdong/p/10876523.html