在网络爬虫时可能要存储大量数据,这时候NoSQL非关系类数据库就非常方便,我们选区mongodb作为例子:
安装mongodb
- 进入官网,选择msi进行安装:https://www.mongodb.com/download-center/community
- 你可以选择complete安装全部或custom自己定制,接下来完成安装。
接下来在你的C盘中新建一个名叫data的文件夹,文件夹里创建两个叫db和log的文件夹,然后在log文件夹后创建一个mongodb.log,完成后应该看起来像这样:
data文件夹就是用来存放mongodb数据的文件夹,db文件夹用来存放数据库,log用来存放日志。
接下来打开cmd,输入:
cd C:\Program Files\MongoDB\Server\4.0\bin
然后输入:
mongod.exe --dbpath C:\\data\db
接下来我们来启动mongodb,首先找到这个路径:
C:\Program Files\MongoDB\Server\4.0\bin
然后先打开mongoed.exe,再打开mongo.exe,你可以输入:show dbs
还有一种就是以cmd方式打开,输入:
cd C:\Program Files\MongoDB\Server\4.0\bin
然后输入:
mongod.exe --logpath "C:\\data\log\mongodb.log" --logappend --dbpath "C:\\data\db" --serviceName "MongoDB" --install
然后再输入:
net start MongoDB
接下来mongodb就启动成功了!
python操作mongodb
首先我们要安装pymongo库,cmd中输入:
pip install pymongo
我们来试着操作mongodb数据库:
from pymongo import MongoClient
client = MongoClient(host=self.host, port=self.port)
db = client.blog_database
collection = db.blog
all={'a':'1',
'b':'2'
}
collection.insert_one(all)
这样我们就在mongodb中插入了一条数据,那么怎么查看呢:
- 打开mongod.exe,再打开mongo.exe,输入:
use blog_database
db.blog.find().pretty()
这样就可以查看数据了
RoboMongo
robomongo是mongodb的图形化管理工具,安装可以上官网:https://robomongo.org/download
接下来打开robomongo,选中new connection,点击connect:
接下来依次点击blog_database - Collections - blog,你就可以看到你的数据了:
下次见!