![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
bad kid's cute
重头做起
展开
-
将scrapy 爬虫改为 增量式爬虫
将写好scrapy 爬虫改为 增量式爬虫只需要在settings配置文件配置相关参数1. 爬虫是不用动2. 修改配置文件# 2.1 配置去重类: 用于把请求的指纹数据存储到Redis的set集合中DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"# 2.1 配置调度器类: 用于把请求对象序列化为二进制数据, 存储到Red...原创 2019-07-07 15:53:14 · 279 阅读 · 0 评论 -
Scrapy连接到各类数据库(SQLite,Mysql,Mongodb,Redis)
SQLite1.修改pipelines.py文件加入如下代码# 爬取到的数据写入到SQLite数据库import sqlite3class SQLitePipeline(object): #打开数据库 def open_spider(self, spider): db_name = spider.settings.get('SQLITE_DB_NAME'...转载 2019-07-10 15:25:01 · 851 阅读 · 1 评论