爬虫-伪装和防Ban

总的思路：模拟HTTP请求发送

1：在settings.py 添加代码，模拟请求头列表，并启用中间件
2：建立DownloadMiddleWare文件

1. process_request(request, spider)——预处理请求
2. process_response(request, response, spider)——处理返回数据
3. process_exception(request, exception, spider)——spider发生错误会调用的方法

3：添上cookies信息
4：启用下载延迟，增加代理更换so on