Boring_Doctor的博客

Scrapy爬虫框架管道文件pipelinesScrapy爬虫框架管道文件pipelines一、pipelines的通用性二、pipelines的主要功能1、对数据进行后处理，清洗，去重，融合，加时间戳......2、将数据存储在文件系统3、将数据存储到数据库4、下载图片视频等二进制文件 Scrapy爬虫框架管道文件pipelines 很多人开始使用scrapy框架会对pipelines的作用不够...

因为平时用scrapy爬的数据都是写在mongodb,而django用的是mysql, 需要将mongodb数据copy到mysql,就写了下面一个小脚本.代码如下: import pymysql import pymongo '''将数据由mongo 导入 mysql''' class PyMongo(object): '''创建mongodb类,提供查询和插入工作''' def __...