爬虫笔记day08-持久化存储(mongoDB)

最新推荐文章于 2023-11-09 08:33:28 发布

废材终结者

最新推荐文章于 2023-11-09 08:33:28 发布

阅读量458

点赞数

分类专栏：爬虫文章标签： python 爬虫 mongodb

本文链接：https://blog.csdn.net/hssf_xxy/article/details/121629162

版权

本文介绍了mongoDB的基础知识，包括其作为非关系型数据库的特点，如键值对存储、磁盘存储和JSON文档数据类型。通过pymongo模块展示了如何连接mongoDB，操作数据库和集合，如插入文档、查看库和集合等。同时，提供了一个豆瓣爬取实例，实现了数据的持久化存储。

摘要由CSDN通过智能技术生成

数据持久化-mongoDB

mongoDB基础知识：

1、为非关系型数据库，数据以键值对方式存储
2、基于磁盘存储
3、数据类型单一，值为JSON文档，而Redis基于内存
4、mongoDB:库->集合—>文档
5、MySQL:库->表->表记录

进入mongoDB命令行：mongo
常用命令：
1、查看所有库：show dbs
2、切换到指定库：use 库名
3、查看当前库中的所有集合：show collections
4、查看当前库中的文档：db.集合名.find().pretty()
5、统计集合中的文档的数量：db.集合名.count()
6、删除集合：db.集合名.drop()
7、删除当前库：db.dropDatabase()

pymongo模块使用流程：(注意：mongo不需要提前建库建集合，直接操作即可，会自动建库建集合)
1、创建对象：conn=pymongo.MongoClient(host=‘localhost’,port=27017)
2、创建库对象：db=conn[‘库名’]
3、创建集合对象：myset=db[‘集合名’]
4、在集合中插入一条文档：myset.insert_one({})
5、在集合中插入多条文档：myset.insert_many([{},{}])

示例

import pymongo
conn=pymongo.MongoClient(host='localhost',port=27017)
db=conn['maoyanDB']
myset=db['message']
#单行插入
myset.insert_one({
   'name':'大话西游','star':'周星驰'})
#多数据插入
myset.insert_m