文章目录
MongoDB简介
- MongoDB是⼀个基于分布式⽂件存储的nosql数据库。在处理⼤数据的时候会 ⽐MySQL更有优势。爬⾍的数据如果上了⼀个量级,可能⽤MongoDB会⽐ MySQL更好
MongoDB的优势
1
- ⽆数据结构限制
- 没有表结构的概念,每条记录可以有完全不同的结构
- 业务开发⽅便快捷
2
- ⼤数据量和⾼性能
- nosql数据库都具有非常高的读写性能,尤其在大数量下表现优秀
3
- 良好的⽀持
- 完善的⽂档
- 齐全的驱动⽀持
MongoDB在Windows中安装
⽹址:https://www.mongodb.com/download-center/community
运⾏MongoDB
1.把MongoDB的bin⽬录加⼊到环境变量path中 (默认安装到C盘)
2.执⾏命令
检测:检测服务端:命令行输入:mongod --dbpath C:\Program Files\MongoDB\Server\4.4\data
运行结果如下,说明安装成功
检测客户端:打开新的窗口,命令行输入:mongo
运行结果如下
查看帮助命令 :mongo -help
标题MongoDB三元素
三元素:数据库、集合、⽂档
-
文档:就是关系型数据库中的一行。文档是一个对象,由键值对构成,是json的扩展形式
{“name”: “abc”, “gender”: 1} -
集合:就是关系型数据库中的表。可以存储多个⽂档,结构可以不固定。
{“name”: “abc”, “gender”: 1}
{“name”: “abc”, “age”: 18}
{“title”: “abc”, “price”: 1}
数据库命名规范
1.不能是空字符串
2.不得含有特殊字符
3.应全部⼩写
4.最多64个字节
5.数据库名不能与现有系统保留库同名,如admin,local
mongodb常见的数据类型
- Object ID: ⽂档ID
- String: 字符串, 最常⽤, 必须是有效的UTF-8
- Boolean: 存储⼀个布尔值, true或false
- Integer: 整数可以是32位或64位, 这取决于服务器
- Double: 存储浮点值
- Arrays: 数组或列表, 多个值存储到⼀个键
- Object: ⽤于嵌⼊式的⽂档, 即⼀个值为⼀个⽂档
- Null: 存储Null值
- Timestamp: 时间戳, 表示从1970-1-1到现在的总秒数
- Date: 存储当前⽇期或时间的UNIX时间格式
字符串;布尔值;整数;浮点数;数组,列表;文档;Null;时间戳;日期;九种数据类型 。
mongodb的数据库命令(增删改查)
- 查看当前数据库: db
查看所有的数据库: show dbs 或者 show databases
切换数据库: use db_name(如果数据库不存在则创建数据库)
删除当前数据库:db.dropDatabase()
- mongodb的集合命令:
1, 如果不手动创建集合;向不存在的集合中第一次加入数据的时候,集合会被自动创建出来。
手动创建集合的命令
- db.createCollection(name,options)
name: 要创建的集合名称 options: 可选参数, 指定有关内存⼤⼩及索引的选项 - db.createCollection(“stu”)
- db.createCollection(“sub”, { capped : true, size : 10 } )
参数capped: 默认值为false表示不设置上限,值为true表示设置上限
参数size: 当capped值为true时, 需要指定此参数, 表示上限⼤⼩,当⽂档达到上限时, 会将之前的数据覆盖, 单位为字节
增:
mongodb的数据插入:
db.集合名称.insert({})
db.yun.insert({name:‘x’,gender:1})
db.yun.insert({_id:“2020”,name:‘a’,gender:1})
注意:插入文档时候如果不指定id,会自动分配
-
多条插⼊数据
for(i=3;i<10;i++)db.yun.insert({x:i}) -
mongodb的简单查询: db.集合名称.find()
删
命令:db.集合名称.remove(,{justOne: })
参数query:可选,删除的⽂档的条件
参数justOne:可选, 如果设为true或1, 则只删除⼀条, 默认false, 表示删除多条
删除数据
db.jerry_collection.remove({条件},{justOne:true}) mongoDB为了防⽌误
删除,条件必须写
db.jerry_collection.remove() 删除所有数据,索引不会删除
db.jerry_collection.remove({x:100})
删除表
db.jerry_collection.drop()
改:
mongodb的更新
命令:db.集合名称.update( ,{multi: })
参数query:查询条件
参数update:更新操作符
参数multi:可选, 默认是false,表示只更新找到的第⼀条记录, 值为true表示把满⾜条件的⽂档全部更新
- 更新一条: db.stu.update({name:‘hr’},{name:‘mnc’})
mongodb的保存
命令:db.集合名称.save(document) 如果⽂档的_id已经存在则修改, 如果⽂档的_id不存在则添加
db.stu.save({_id:ObjectId("5f169b37d74866264ed9a7db"), name:'gj',
gender:2})
db.stu.save({name:'gj', gender:2})
db.stu.find()
# 查:
## 数据查询
⽅法find(): 查询
- db.集合名称.find({条件⽂档})
- ⽅法pretty(): 将结果格式化
- ⽅法findOne():查询,只返回第⼀个
db.集合名称.findOne({条件⽂档})
db.集合名称.find({条件⽂档}).pretty()
## 带有条件的查询
```kotlin
查询x等于100的数据
db.yun_collection.find({x:100})
查询x等于100,y等于99的
db.yun_collection.find({x:100,y:99})
比较运算符
可以使用以下数据进行练习
db.stu.insert([
{"name" : "张三", "hometown" : "⻓沙", "age" : 20, "g ender" : true},
{"name" : "⽼李", "hometown" : "⼴州", "age" : 18, "gender" : false},
{"name" : "王⼦", "hometown" : "北京", "age" : 18, "gender" : false},
{"name" : "刘六", "hometown" : "深圳", "age" : 40, "gender" : true },
{"name" : "jerry", "hometown" : "⻓沙", "age" : 16, "gender" : true},
{"name" : "⼩永", "hometown" : "⼴州", "age" : 45, "gender" : true },
{"name" : "⽼amy", "hometown" : "衡阳", "age" : 18, "gender" : true }])
等于: 默认是等于判断, 没有运算符
-
⼩于: lt ( less t han )
-
⼩于等于:lte (less than equal)
-
⼤于: gt( greater than )
-
⼤ 于 等 于 : gte (greater than equal)
-
不等于:$ne
例:查询年龄大于18的所有学生
db.stu.find({age:{$gte:18}})
范围运算符
1 使⽤$in,$nin判断是否在某个范围内查询年龄为18、28的学⽣
2 db.stu.find({age:{$in:[18,28]}})
逻辑运算符
逻辑运算符主要指与、或逻辑
or:使⽤$or,值为数组,数组中每个元素为json
db.stu.find({$or:[{age:{$gt:18}},{gender:false}]})
and:
db.stu.find({age:{$gt:18}},{gender:false}})
⾃定义查询
查询年龄⼤于30的学⽣
db.jerry_collection.find({
$where:function() {
return this.age>30;}
})
⽀持正则表达式
查找有京A字样的内容:
db.wd16.find({plate_no:{$regex:'京A'}})
查询 title 包含"教"字的文档:
db.col.find({title:/教/})
查询 title 字段以"教"字开头的文档:
db.col.find({title:/^教/})
查询 titl e字段以"教"字结尾的文档:
db.col.find({title:/教$/})
查询以某字段为开头的文档
db.member.find({"name":{$regex:/^XXX/}})
查询以某字段为结尾的文档
db.member.find({"name":{$regex:/XXX^/}})
查询忽略大小写
db.member.find({"name":{$regex:/XXX/i}})
或
db.posts.find({post_text:{$regex:"runoob",$options:"$i"}})
查找包含 runoob 字符串的文章
db.posts.find({post_text:{$regex:“runoob”}})
以上查询也可以写为:
db.posts.find({post_text:/runoob/})
查询结果操作
查出的数据求总数
db.yun_collection.find().count()
skip和limit
limit⽤于读取指定数量的⽂档
db.jerryn_collection.find().limit(2)
skip⽤于跳过指定数量的⽂档
db.jerry_collection.find().skip(2)
limit和skip同时使⽤:注意:不分顺序
db.jerry_collection.find().skip(2).limit(2)
注意:先使用skip在使用limit的效率要高
映射
在查询到的返回结果中, 只选择必要的字段
命令:db.集合名称.find({},{字段名称:1,…})
参数为字段与值, 值为1表示显示, 值为0不显 特别注意: 对于_id列默认是显示的, 如果不显示需要明确设置为0
db.stu.find({},{_id:0,name:1,gender:1})
排序
⽅法sort(), ⽤于对集合进⾏排序
命令:db.集合名称.find().sort({字段:1,…})
参数1为升序排列 参数-1为降序排列
按照年龄升序排序
db.jerry_collection().find().sort({age:1})
按照年龄降序排序
db.jerry_collection().find().sort({age:-1})
修改数据
db.集合名称.update({query}, {update}, {multi: boolean})
参数query:查询条件
参数update:更新操作符
参数multi:可选,默认是false,表示只更新找到的第一条数据,值为true表示把满足条件的数据全部更新
db.jerry_collection.insert({x:100,y:100,z:100})
{ "_id" : ObjectId("59b297dd8fa0c171faae5bc8"), "x" : 100, "y" : 100, "z" : 100 }
db.jerry_collection.update({x:100},{y:99})
修改后数据变为
{ "_id" : ObjectId("59b297dd8fa0c171faae5bc8"), "y" : 99 }
部分更新
db.jerry_collection.update({x:100},{$set:{y:99}})
如果y:100数据不存在,就插入y:101这条数据,第三个参数为true
db.jerry_collection.update({y:100},{y:101},true)
更新多条
db.jerry_collection.update({y:99},{$set:{y:101}},{multi:true})
统计个数
⽅法count()⽤于统计结果集合中⽂档条数
命令:db.集合名称.find({条件}).count()
命令:db.集合名称.count({条件})
db.stu.find({gender:true}).count()
db.stu.count({age:{$gt:20},gender:true}
消除重复
⽅法distinct()对数据进⾏去重
命令:db.集合名称.distinct(‘去重字段’,{条件})
db.stu.distinct(‘hometown’,{age:{$gt:18}})
聚合
常用的管道
$group:将集合中的文档分组,可用于统计结果
$match:过滤数据,只输出符合条件的文档
$sort:将输入文档排序后输出
$limit:限制聚合管道返回的文档书
$skip:跳过指定数量的文档,并返回余下的文档
测试数据
db.stu.insert({name:"a", hometown: '东北', age: 20, gender: true})
db.stu.insert({name:"b", hometown: '长沙', age: 18, gender: false})
db.stu.insert({name:"c", hometown: '武汉', age: 18, gender: false})
db.stu.insert({name:"d", hometown: '华山', age: 40, gender: true})
db.stu.insert({name:"e", hometown: '山东', age: 16, gender: true})
db.stu.insert({name:"f", hometown: '江苏', age: 45, gender: true})
db.stu.insert({name:"g", hometown: '大理', age: 18, gender: true})
在mongodb中,⽂档处理完毕后,通过管道进⾏下⼀次处理 常用管道命令如下:
表达式
处理输⼊⽂档并输出
语法:表达式:’$列名’
常⽤表达式:
$sum: 计算总和, $sum:1 表示以⼀倍计数
$avg: 计算平均值
$min: 获取最⼩值
$max: 获取最⼤值
$push: 在结果⽂档中插⼊值到⼀个数组中
$first: 根据资源⽂档的排序获取第⼀个⽂档数据
$last: 根据资源⽂档的排序获取最后⼀个⽂档数据
($group)
将集合中的文档分组,用于统计结果
- _id表示分组的依据,使用某个字段的格式为 ‘$字段’
按照gender分组
db.students.aggregate(
{$group:{_id:'$gender',count:{$sum:1}}}
)
按照gender分组,获取不同组的平均年龄
db.students.aggregate(
{$group:{_id:'$gender',count:{$sum:1},avg_age:{$avg:"$age"}}}
)
$match
match是管道命令,能将结果交给后一个管道
查询年龄大于20的学生
db.students.aggregate(
{$match:{age:{$gt:20}}}
)
查询年龄大于20的男生,女生人数
db.students.aggregate(
{$match:{age:{$gt:20}}},
{$group:{_id:'$gender',count:{$sum:1}}}
)
Mongodb创建索引
- 为什么mongdb需要创建索引
• 加快查询速度
• 进行数据的去重 - mongodb创建简单的索引方法
• 语法:db.集合名.ensureIndex({属性:1}),1表示升序, -1表示降序 - 创建索引前后查询速度对比
测试:插入10万条数据到数据库中
插入数据
for(i=0;i<100000;i++){db.test.insert({name:‘test’+i,age:i})}
创建索引前
db.test.find({name:‘test9999’})
db.test.find({name:‘test9999’}).explain(‘executionStats’) # 显示查询操作的详细信息
创建索引
db.test.ensureIndex({name:1})
创建索引后
db.test.find({name:‘test9999’}).explain(‘executionStats’) - 索引的查看
默认情况下_id是集合的索引
查看方式:db.集合名.getIndexes() - 删除索引
语法:db.集合名.dropIndex({‘索引名称’:1})
db.test.dropIndex({name:1})
db.test.getIndexes()
python与 mongodb交互:
import pymongo
# 链接mongodb
mongo_client = pymongo.MongoClient()
mongo_client = pymongo.MongoClient(host='127.0.0.1',port=27017)
# 插入数据
mongo_client['jerrt']['student'].insert({'name':'jerry'})
或:
from pymongo import MongoClient
client = MongoClient(host,port)
collection = client[db名][集合名]
#添加一条数据
ret = collection.insert_one({“name”:“test10010”,“age”:33})
print(ret)
添加多条数据
item_list = [{“name”:“test1000{}”.format(i)} for i in range(10)]
insert_many接收一个列表,列表中为所有需要插入的字典
t = collection.insert_many(item_list)
查找一条数据
find_one查找并且返回一个结果,接收一个字典形式的条件
t = collection.find_one({“name”:“test10005”})
print(t)
查找全部数据
结果是一个Cursor游标对象,是一个可迭代对象,可以类似读文件的指针,但是只能够进行一次读取
find返回所有满足条件的结果,如果条件为空,则返回数据库的所有
t = collection.find({“name”:“test10005”})
#结果是一个Cursor游标对象,是一个可迭代对象,可以类似读文件的指针,
for i in t:
print(i)
for i in t: #此时t中没有内容
print(i)
更新一条数据 注意使用$set命令
update_one更新一条数据
collection.update_one({“name”:“test10005”},{"$set":{“name”:“new_test10005”}})
更行全部数据
update_one更新全部数据
collection.update_many({“name”:“test10005”},{"$set":{“name”:“new_test10005”}})
删除一条数据
delete_one删除一条数据
collection.delete_one({“name”:“test10010”})
删除全部数据
delete_may删除所有满足条件的数据
collection.delete_many({“name”:“test10010”})
(注意:命令行的粘贴复制和平时不一样,
1:命令行窗口内直接按住鼠标左键选择就行了,在要复制的的地方直接点击鼠标右键就可以了
2:想要粘贴复制命令窗户以外的数据,需要设置:
在右上侧空白处右键弹出设置,选择属性~
万事大吉了