Python Scrapy 数据保存在mysql数据库

1. 先在cmd里登录Mysql,并创建数据库,创建对应items内容的字段表.
2. 在项目settings文件中添加与数据库连接相关的变量
   
3. 在pipeline.py文件中创建一个MysqlDBPipeline类用于操作数据库
   
   在init里面连接数据库并获取游标,在process_item里面操作数据库插入数据,并提交.
4. 在setting.py中把MysqlDBPipeline的类添加进去,开启一下爬虫.
   
   最后打开cmd 登录mysql 进入数据库,查看表数据.是否插入成功.
   Scrapy数据保存mysql数据库完成

Scrapy配置随机请求头

1. 首先在settings.py文件中配置一下我们需要的请求头列表
   
2. 在middlewares.py中去定义一个生成随机user-agenr的类RandomUserAgentMiddleware
3. 在middlewares中默认的方法:
   process_request(),当每个请求通过下载中间件的时候,该方法被调用
   Process_response():当下载器完成http请求,传递响应的时候该方法会被调用.
4. 在process_request()方法里随机生成一个请求头并替换给request请求里的[‘User-Agten’]
   
5. 接下来我们定义一个类CheckUserAgent,在里面定义一个process_response()方法,来查看一下返回的response里面的User-Agent是否是随机的,并且把返回的response返回给引擎.