#存入到mongodb中
class MyMongoDbPipeline(object):
def open_spider(self,spider):
#连接数据库
self.conn = pymongo.MongoClient(host='localhost',port=27017)
#选择数据库,没有回自动创建
db = self.conn.movie
#选择集合
self.collection = db.movie_collection
def process_item(self, item, spider):
self.collection.insert(dict(item))
return item
def close_spider(self, spider):
self.conn.close()
可以看出非常简单,这是因为mongo中数据结构和我们的item一样,所以会直接使用
自定义配置
启动出问题相关配置请参见:https://blog.csdn.net/jungle_hello/article/details/73889320