MongoDB基础操作和pyspider

关系型数据库和非关系数据库的区别：

简单来说，关系型数据库可以支持多表联查，回滚等

菲关系型数据库，一般来说存储在内存中，以键值对方式存在。查东西比较快

from pymongo import MongoClient
# 向mongodb中插入数据的类
class MongoWriter(object):

    def __init__(self):
        # 构造对象
        self.client = MongoClient()
        # 获取数据库
        db = self.client.imgs
        # 获取集合(表)
        self.imgs = db.imgs

    def insert_result(self, result):

        if result:
            # 向mongodb中插入数据
            self.imgs.insert(result)

    def __del__(self):
        # 关闭数据库连接
        self.client.close()

整体上来说MongoDB和MySQL差不多，也是需要安装软件，并且pip install pymongo包，之后就是连接数据库和增删改查了，但是还是有些不太一样

关于pyspider，，emmmm

pip install pyspider

然后输入pyspider启动，再打开浏览器窗口，端口5000

在这里create项目-。-！ 有些小坑啊，但也就这么些了

同类型的还有gerapy，，，emmmm都阔以啦

总之就是方便，但是代码还是线下写方便0,0

好处是可以监控，简单的爬虫可以使用这个框架，正经还是使用scrapy好了