关系型数据库和非关系数据库的区别:
简单来说,关系型数据库可以支持多表联查,回滚等
菲关系型数据库,一般来说存储在内存中,以键值对方式存在。查东西比较快
from pymongo import MongoClient
# 向mongodb中插入数据的类
class MongoWriter(object):
def __init__(self):
# 构造对象
self.client = MongoClient()
# 获取数据库
db = self.client.imgs
# 获取集合(表)
self.imgs = db.imgs
def insert_result(self, result):
if result:
# 向mongodb中插入数据
self.imgs.insert(result)
def __del__(self):
# 关闭数据库连接
self.client.close()
整体上来说MongoDB和MySQL差不多,也是需要安装软件,并且pip install pymongo包,之后就是连接数据库和增删改查了,但是还是有些不太一样
关于pyspider,,emmmm
pip install pyspider
然后输入pyspider启动,再打开浏览器窗口,端口5000
在这里create项目-。-! 有些小坑啊,但也就这么些了
同类型的还有gerapy,,,emmmm都阔以啦
总之就是方便,但是代码还是线下写方便0,0
好处是可以监控,简单的爬虫可以使用这个框架,正经还是使用scrapy好了