使用scrapy自带的scrapy crawl novel -o novel.csv 将数据存为csv文件时,可能会出现文件内容有空行现象
百思不得其姐啊,最后...
找到scrapy/exporters.py文件,找到CsvItemExporter类,在io.TextIOWrapper函数的参数里增加参数 newline=''
使用scrapy自带的命令将数据存储下来
将item对象存储为json文件,保存的时候,网页解析的数据是unicode编码,需要转出utf-8之后再进行存储。
scrapy crawl 爬虫名 -o 文件名.json -s FEED_EXPORT_ENCODING=utf-8
将item生成的对象存储为json文件,但是保存的时候一个item输入一行json,文件名.jl,其中jl是jsonline的缩写
scrapy crawl 爬虫名 -o 文件名.jl -s FEED_EXPORT_ENCODING=utf-8
将item生成的对象存储为csv文件。
scrapy crawl 爬虫名 -o 文件名.csv -s FEED_EXPORT_ENCODING=utf-8
将数据保存为xml文件
scrapy crawl 爬虫名 -o novel.xml -s FEED_EXPORT_ENCODING=utf-8
将数据保存为pickle文件
scrapy crawl 爬虫名 -o novel.pickle -s FEED_EXPORT_ENCODING=utf-8
将数据保存为marshal文件
scrapy crawl 爬虫名 -o novel.marshal -s FEED_EXPORT_ENCODING=utf-8