使用scrapy运行命令将数据存储为csv文件有空行的解决办法,以及json,xml pickle marshal格式..

使用scrapy自带的scrapy crawl novel -o novel.csv 将数据存为csv文件时,可能会出现文件内容有空行现象

百思不得其姐啊,最后...

找到scrapy/exporters.py文件，找到CsvItemExporter类，在io.TextIOWrapper函数的参数里增加参数 newline=''

 

 

使用scrapy自带的命令将数据存储下来
将item对象存储为json文件，保存的时候，网页解析的数据是unicode编码，需要转出utf-8之后再进行存储。
scrapy crawl 爬虫名 -o 文件名.json -s FEED_EXPORT_ENCODING=utf-8

 

将item生成的对象存储为json文件，但是保存的时候一个item输入一行json，文件名.jl，其中jl是jsonline的缩写
scrapy crawl 爬虫名 -o 文件名.jl -s FEED_EXPORT_ENCODING=utf-8

 

将item生成的对象存储为csv文件。
scrapy crawl 爬虫名 -o 文件名.csv -s FEED_EXPORT_ENCODING=utf-8

 

将数据保存为xml文件
scrapy crawl 爬虫名 -o novel.xml -s FEED_EXPORT_ENCODING=utf-8

将数据保存为pickle文件
scrapy crawl 爬虫名 -o novel.pickle -s FEED_EXPORT_ENCODING=utf-8

将数据保存为marshal文件
scrapy crawl 爬虫名 -o novel.marshal -s FEED_EXPORT_ENCODING=utf-8