一、 运行异常:
二、 原因:
由于服务器自带伪装防爬虫;查看settings.py文件如下
这个不是标准的USER_AGENT,把里面内容删除,进行修改;还有robots协议需要修改成False。
三、解决:
修改settings.py文件如下:
二、 原因:
由于服务器自带伪装防爬虫;查看settings.py文件如下
这个不是标准的USER_AGENT,把里面内容删除,进行修改;还有robots协议需要修改成False。
修改settings.py文件如下: