MongoDB简介和基本使用方式

MongoDB简介

• MongoDB是⼀个基于分布式⽂件存储的nosql数据库。在处理⼤数据的时候会 ⽐MySQL更有优势。爬⾍的数据如果上了⼀个量级,可能⽤MongoDB会⽐ MySQL更好

MongoDB的优势

1
- ⽆数据结构限制
- 没有表结构的概念，每条记录可以有完全不同的结构
- 业务开发⽅便快捷

2

• ⼤数据量和⾼性能
• nosql数据库都具有非常高的读写性能，尤其在大数量下表现优秀

3

• 良好的⽀持
• 完善的⽂档
• 齐全的驱动⽀持

MongoDB在Windows中安装

⽹址：https://www.mongodb.com/download-center/community

运⾏MongoDB

1.把MongoDB的bin⽬录加⼊到环境变量path中 （默认安装到C盘）
2.执⾏命令
检测：检测服务端：命令行输入：mongod --dbpath C:\Program Files\MongoDB\Server\4.4\data
运行结果如下，说明安装成功

检测客户端：打开新的窗口，命令行输入：mongo
运行结果如下

查看帮助命令 ：mongo -help

标题MongoDB三元素

三元素：数据库、集合、⽂档

• 文档:就是关系型数据库中的一行。文档是一个对象,由键值对构成,是json的扩展形式
  {“name”: “abc”, “gender”: 1}

• 集合:就是关系型数据库中的表。可以存储多个⽂档,结构可以不固定。
  {“name”: “abc”, “gender”: 1}
  {“name”: “abc”, “age”: 18}
  {“title”: “abc”, “price”: 1}

数据库命名规范

1.不能是空字符串
2.不得含有特殊字符
3.应全部⼩写
4.最多64个字节
5.数据库名不能与现有系统保留库同名，如admin,local

mongodb常见的数据类型

• Object ID： ⽂档ID
• String： 字符串， 最常⽤， 必须是有效的UTF-8
• Boolean： 存储⼀个布尔值， true或false
• Integer： 整数可以是32位或64位， 这取决于服务器
• Double： 存储浮点值
• Arrays： 数组或列表， 多个值存储到⼀个键
• Object： ⽤于嵌⼊式的⽂档， 即⼀个值为⼀个⽂档
• Null： 存储Null值
• Timestamp： 时间戳， 表示从1970-1-1到现在的总秒数
• Date： 存储当前⽇期或时间的UNIX时间格式

字符串；布尔值；整数；浮点数；数组，列表；文档；Null；时间戳；日期；九种数据类型 。

mongodb的数据库命令(增删改查)

• 查看当前数据库： db
  查看所有的数据库： show dbs 或者 show databases

切换数据库： use db_name（如果数据库不存在则创建数据库）

删除当前数据库：db.dropDatabase()

• mongodb的集合命令：
  1， 如果不手动创建集合；向不存在的集合中第一次加入数据的时候，集合会被自动创建出来。

手动创建集合的命令

• db.createCollection(name,options)
  name: 要创建的集合名称 options: 可选参数, 指定有关内存⼤⼩及索引的选项
• db.createCollection(“stu”)
• db.createCollection(“sub”, { capped : true, size : 10 } )
  参数capped： 默认值为false表示不设置上限,值为true表示设置上限
  参数size： 当capped值为true时， 需要指定此参数， 表示上限⼤⼩,当⽂档达到上限时， 会将之前的数据覆盖， 单位为字节

增：

mongodb的数据插入：

db.集合名称.insert({})
db.yun.insert({name:‘x’,gender:1})
db.yun.insert({_id:“2020”,name:‘a’,gender:1})
注意：插入文档时候如果不指定id，会自动分配

• 多条插⼊数据
  for(i=3;i<10;i++)db.yun.insert({x:i})

• mongodb的简单查询: db.集合名称.find()

删

命令：db.集合名称.remove(,{justOne: })

参数query:可选，删除的⽂档的条件
参数justOne:可选， 如果设为true或1， 则只删除⼀条， 默认false， 表示删除多条

删除数据
db.jerry_collection.remove({条件},{justOne:true}) mongoDB为了防⽌误
删除，条件必须写
db.jerry_collection.remove() 删除所有数据，索引不会删除
db.jerry_collection.remove({x:100})

删除表
db.jerry_collection.drop()

改：

mongodb的更新

命令：db.集合名称.update( ,{multi: })

参数query:查询条件
参数update:更新操作符
参数multi:可选， 默认是false，表示只更新找到的第⼀条记录， 值为true表示把满⾜条件的⽂档全部更新

• 更新一条: db.stu.update({name:‘hr’},{name:‘mnc’})

mongodb的保存

命令：db.集合名称.save(document) 如果⽂档的_id已经存在则修改， 如果⽂档的_id不存在则添加

db.stu.save({_id:ObjectId("5f169b37d74866264ed9a7db"), name:'gj',
gender:2})
db.stu.save({name:'gj', gender:2})
db.stu.find()
# 查：

## 数据查询

⽅法find()： 查询

- db.集合名称.find({条件⽂档})
- ⽅法pretty()： 将结果格式化
- ⽅法findOne()：查询，只返回第⼀个

     db.集合名称.findOne({条件⽂档})

   db.集合名称.find({条件⽂档}).pretty()
## 带有条件的查询

```kotlin
查询x等于100的数据
db.yun_collection.find({x:100})
查询x等于100，y等于99的
db.yun_collection.find({x:100,y:99})

比较运算符

可以使用以下数据进行练习

db.stu.insert([
{"name" : "张三", "hometown" : "⻓沙", "age" : 20, "g ender" : true},
{"name" : "⽼李", "hometown" : "⼴州", "age" : 18, "gender" : false},
{"name" : "王⼦", "hometown" : "北京", "age" : 18, "gender" : false}, 
{"name" : "刘六", "hometown" : "深圳", "age" : 40, "gender" : true }, 
{"name" : "jerry", "hometown" : "⻓沙", "age" : 16, "gender" : true}, 
{"name" : "⼩永", "hometown" : "⼴州", "age" : 45, "gender" : true },
{"name" : "⽼amy", "hometown" : "衡阳", "age" : 18, "gender" : true }])

等于： 默认是等于判断， 没有运算符

• ⼩于： lt （ less t han ）

• ⼩于等于：lte （less than equal）

• ⼤于： gt（ greater than ）

• ⼤ 于 等 于 ： gte （greater than equal）

• 不等于：$ne

例：查询年龄大于18的所有学生
db.stu.find({age:{$gte:18}})

范围运算符

1 使⽤$in,$nin判断是否在某个范围内查询年龄为18、28的学⽣
2 db.stu.find({age:{$in:[18,28]}})

逻辑运算符

逻辑运算符主要指与、或逻辑

or:使⽤$or，值为数组，数组中每个元素为json
db.stu.find({$or:[{age:{$gt:18}},{gender:false}]})
and:
db.stu.find({age:{$gt:18}},{gender:false}})

⾃定义查询

 查询年龄⼤于30的学⽣
 db.jerry_collection.find({
 	$where:function() {
 		return this.age>30;}
 })

⽀持正则表达式

查找有京A字样的内容：
db.wd16.find({plate_no:{$regex:'京A'}})
查询 title 包含"教"字的文档：
db.col.find({title:/教/})
查询 title 字段以"教"字开头的文档：
db.col.find({title:/^教/})
查询 titl e字段以"教"字结尾的文档：
db.col.find({title:/教$/})

查询以某字段为开头的文档
db.member.find({"name":{$regex:/^XXX/}})

查询以某字段为结尾的文档
db.member.find({"name":{$regex:/XXX^/}})

查询忽略大小写
db.member.find({"name":{$regex:/XXX/i}})
或
db.posts.find({post_text:{$regex:"runoob",$options:"$i"}})

查找包含 runoob 字符串的文章
db.posts.find({post_text:{$regex:“runoob”}})
以上查询也可以写为：

db.posts.find({post_text:/runoob/})

查询结果操作

查出的数据求总数

db.yun_collection.find().count()

skip和limit

limit⽤于读取指定数量的⽂档
db.jerryn_collection.find().limit(2)

skip⽤于跳过指定数量的⽂档
db.jerry_collection.find().skip(2)

limit和skip同时使⽤:注意：不分顺序
db.jerry_collection.find().skip(2).limit(2)

注意：先使用skip在使用limit的效率要高

映射

在查询到的返回结果中， 只选择必要的字段

命令：db.集合名称.find({},{字段名称:1,…})

参数为字段与值， 值为1表示显示， 值为0不显 特别注意： 对于_id列默认是显示的， 如果不显示需要明确设置为0

db.stu.find({},{_id:0,name:1,gender:1})

排序

⽅法sort()， ⽤于对集合进⾏排序

命令：db.集合名称.find().sort({字段:1,…})

参数1为升序排列 参数-1为降序排列

按照年龄升序排序
db.jerry_collection().find().sort({age:1})

按照年龄降序排序
db.jerry_collection().find().sort({age:-1})

修改数据

db.集合名称.update({query}, {update}, {multi: boolean})
参数query:查询条件
参数update:更新操作符
参数multi:可选，默认是false，表示只更新找到的第一条数据，值为true表示把满足条件的数据全部更新

db.jerry_collection.insert({x:100,y:100,z:100})
{ "_id" : ObjectId("59b297dd8fa0c171faae5bc8"), "x" : 100, "y" : 100, "z" : 100 }

db.jerry_collection.update({x:100},{y:99})
修改后数据变为  
{ "_id" : ObjectId("59b297dd8fa0c171faae5bc8"), "y" : 99 }

部分更新
db.jerry_collection.update({x:100},{$set:{y:99}})

如果y:100数据不存在，就插入y:101这条数据，第三个参数为true
db.jerry_collection.update({y:100},{y:101},true)

更新多条
db.jerry_collection.update({y:99},{$set:{y:101}},{multi:true})

统计个数

⽅法count()⽤于统计结果集合中⽂档条数

命令：db.集合名称.find({条件}).count()
命令：db.集合名称.count({条件})

db.stu.find({gender:true}).count()
db.stu.count({age:{$gt:20},gender:true}

消除重复

⽅法distinct()对数据进⾏去重

命令：db.集合名称.distinct(‘去重字段’,{条件})

db.stu.distinct(‘hometown’,{age:{$gt:18}})

聚合

常用的管道

$group:将集合中的文档分组，可用于统计结果
$match:过滤数据，只输出符合条件的文档
$sort:将输入文档排序后输出
$limit:限制聚合管道返回的文档书
$skip:跳过指定数量的文档，并返回余下的文档

测试数据

db.stu.insert({name:"a", hometown: '东北', age: 20, gender: true})
db.stu.insert({name:"b", hometown: '长沙', age: 18, gender: false})
db.stu.insert({name:"c", hometown: '武汉', age: 18, gender: false})
db.stu.insert({name:"d", hometown: '华山', age: 40, gender: true})
db.stu.insert({name:"e", hometown: '山东', age: 16, gender: true})
db.stu.insert({name:"f", hometown: '江苏', age: 45, gender: true})
db.stu.insert({name:"g", hometown: '大理', age: 18, gender: true})

在mongodb中，⽂档处理完毕后，通过管道进⾏下⼀次处理 常用管道命令如下：

表达式
处理输⼊⽂档并输出
语法：表达式:’$列名’
常⽤表达式:
$sum： 计算总和， $sum:1 表示以⼀倍计数
$avg： 计算平均值
$min： 获取最⼩值
$max： 获取最⼤值
$push： 在结果⽂档中插⼊值到⼀个数组中
$first： 根据资源⽂档的排序获取第⼀个⽂档数据
$last： 根据资源⽂档的排序获取最后⼀个⽂档数据

($group)
将集合中的文档分组，用于统计结果

• _id表示分组的依据，使用某个字段的格式为 ‘$字段’

按照gender分组

db.students.aggregate(
    {$group:{_id:'$gender',count:{$sum:1}}}
)

按照gender分组,获取不同组的平均年龄

db.students.aggregate(
    {$group:{_id:'$gender',count:{$sum:1},avg_age:{$avg:"$age"}}}
)

$match
match是管道命令，能将结果交给后一个管道
查询年龄大于20的学生

db.students.aggregate(
    {$match:{age:{$gt:20}}}
)

查询年龄大于20的男生，女生人数

db.students.aggregate(
    {$match:{age:{$gt:20}}},
    {$group:{_id:'$gender',count:{$sum:1}}}
)

Mongodb创建索引

1. 为什么mongdb需要创建索引
   • 加快查询速度
   • 进行数据的去重
2. mongodb创建简单的索引方法
   • 语法：db.集合名.ensureIndex({属性:1})，1表示升序， -1表示降序
3. 创建索引前后查询速度对比
   测试：插入10万条数据到数据库中
   插入数据
   for(i=0;i<100000;i++){db.test.insert({name:‘test’+i,age:i})}
   创建索引前
   db.test.find({name:‘test9999’})
   db.test.find({name:‘test9999’}).explain(‘executionStats’) # 显示查询操作的详细信息
   创建索引
   db.test.ensureIndex({name:1})
   创建索引后
   db.test.find({name:‘test9999’}).explain(‘executionStats’)
4. 索引的查看
   默认情况下_id是集合的索引
   查看方式：db.集合名.getIndexes()
5. 删除索引
   语法：db.集合名.dropIndex({‘索引名称’:1})
   db.test.dropIndex({name:1})
   db.test.getIndexes()

python与 mongodb交互：

import pymongo

# 链接mongodb
mongo_client = pymongo.MongoClient()
mongo_client = pymongo.MongoClient(host='127.0.0.1',port=27017)
# 插入数据
mongo_client['jerrt']['student'].insert({'name':'jerry'})

或：

from pymongo import MongoClient
client = MongoClient(host,port)
collection = client[db名][集合名]

#添加一条数据
ret = collection.insert_one({“name”:“test10010”,“age”:33})
print(ret)

添加多条数据
item_list = [{“name”:“test1000{}”.format(i)} for i in range(10)]
insert_many接收一个列表，列表中为所有需要插入的字典
t = collection.insert_many(item_list)

查找一条数据
find_one查找并且返回一个结果,接收一个字典形式的条件
t = collection.find_one({“name”:“test10005”})
print(t)

查找全部数据
结果是一个Cursor游标对象，是一个可迭代对象，可以类似读文件的指针，但是只能够进行一次读取

find返回所有满足条件的结果，如果条件为空，则返回数据库的所有
t = collection.find({“name”:“test10005”})
#结果是一个Cursor游标对象，是一个可迭代对象，可以类似读文件的指针，
for i in t:
	print(i)
for i in t: #此时t中没有内容
	print(i)
	
更新一条数据 注意使用$set命令
update_one更新一条数据
collection.update_one({“name”:“test10005”},{"$set":{“name”:“new_test10005”}})

更行全部数据
update_one更新全部数据
collection.update_many({“name”:“test10005”},{"$set":{“name”:“new_test10005”}})

删除一条数据
delete_one删除一条数据
collection.delete_one({“name”:“test10010”})

删除全部数据
delete_may删除所有满足条件的数据
collection.delete_many({“name”:“test10010”})

(注意:命令行的粘贴复制和平时不一样，
1：命令行窗口内直接按住鼠标左键选择就行了，在要复制的的地方直接点击鼠标右键就可以了
2：想要粘贴复制命令窗户以外的数据，需要设置：
在右上侧空白处右键弹出设置，选择属性~
万事大吉了