分析:
获取网页中的数据可以成功爬取,但是在写入txt操作的时候部分数据丢失。可能原因是scrapy框架是异步爬取数据,所以写入数据的时候不能完全写入完整的数据。
解决方法:
一、代码
- pipelines.py
# 开启爬虫前调用
def open_spider(self, spider):
self.file = open(r'novels/dhzmg.txt', 'w', encoding='utf-8')
# parse()返回值时调用,一般在这里写入数据
def process_item(self, item, spider):
try:
res = dict(item)
title = res['title']
line = res['data']
self.file.write(title+'\n'+line+'\n\n')
except:
pass
# 关闭爬虫后调用,此处用于关闭文件连接
def close_spider(self, spider):
self.file.close()
说明:
- open_spider(): 开启爬虫前调用,可用于创建连接对象;
- close_spider():关闭爬虫后调用,可以用于关闭文件连接;
- process_item():此函数用于写入数据操作,在parse()返回值的时候自动调用。
二、配置
使用pipeline.py文件中的方法时,需要在setting.py
更改设置。
- setting.py
ITEM_PIPELINES = {
'myscrapy.pipelines.MyscrapyPipeline': 300,
}
找到这个配置,取消前面的注释即可。