scrapy 爬虫时将数据输出到json时中文总是unicode字符,在json.dums()中设置ensure_ascii=False参数可以解决这个问题。
def __init__(self):
self.file = codecs.open('url_data.json','wb',encoding='utf-8')
def process_item(self, item, spider):
line = json.dumps(dict(item),ensure_ascii=False) + '\n'
self.file.write(line)
return item