scrapy框架之数据保存到MySQL

1、使用代理

下载中间件

在middlewares.py文件中创建一个自己的中间件的类

class MyDaili(object):
    # 重写这个方法
    def process_request(self,request,spider):
        request.meta['proxy'] = 'http://代理ip:代理端口'

使用代理的时候需要在settings中打开中间件文件（55-57行），并且将中间件改为自己的写的

2、模拟登录

豆瓣

显示使用get提交获取登录令牌和验证码图片，再使用post提交账号密码

3、存储到mysql、mongodb

通过crawlspider经常爬取这些有分页、有详情页的

方法二：在pipelines.py中建立一个数据库链接类,然后再settings里面添加这个管道

# 创建链接数据库管道
class MySQLPipeline(object):
    
    # 打开数据库
    def open_spider(self,spider):
        self.conn = pymysql.Connect(host='39.108.136.163', port=3306, user='root', password='123', db='day02', charset='utf8')
​
    def process_item(self,item,spider):
        # 创建sql语句
        sql = 'insert into movie_message(image_url,movie_title,movie_score,movie_type,movie_director,