爬虫获取的数据可以存放到本地,也可以直接存放的指定的数据库。
1、存放到本地中,pipeline文件代码:
import json
class DongguanPipeline(object):
def __init__(self):
self.filename = open("xxx.json", "wb")
def process_item(self, item, spider):
text = json
爬虫获取的数据可以存放到本地,也可以直接存放的指定的数据库。
1、存放到本地中,pipeline文件代码:
import json
class DongguanPipeline(object):
def __init__(self):
self.filename = open("xxx.json", "wb")
def process_item(self, item, spider):
text = json