1、使用代理
下载中间件
在middlewares.py文件中创建一个自己的中间件的类
class MyDaili(object): # 重写这个方法 def process_request(self,request,spider): request.meta['proxy'] = 'http://代理ip:代理端口'
使用代理的时候需要在settings中打开中间件文件(55-57行),并且将中间件改为自己的写的
2、模拟登录
豆瓣
显示使用get提交获取登录令牌和验证码图片,再使用post提交账号密码
3、存储到mysql、mongodb
通过crawlspider经常爬取这些有分页、有详情页的
方法二:在pipelines.py中建立一个数据库链接类,然后再settings里面添加这个管道
# 创建链接数据库管道 class MySQLPipeline(object): # 打开数据库 def open_spider(self,spider): self.conn = pymysql.Connect(host='39.108.136.163', port=3306, user='root', password='123', db='day02', charset='utf8') def process_item(self,item,spider): # 创建sql语句 sql = 'insert into movie_message(image_url,movie_title,movie_score,movie_type,movie_director,