mongodb02_索引、mongodb和python交互、代码练习

最新推荐文章于 2021-12-06 10:44:43 发布
最新推荐文章于 2021-12-06 10:44:43 发布
阅读量132 收藏
点赞数
分类专栏： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_43394876/article/details/90115825
版权

1.索引备份和python交互

1.1 为什么mongdb需要创建索引

  • 加快查询速度
  • 进行数据的去重

1.2 mongodb创建简单的索引方法

  • 语法：
    • db.集合.ensureIndex({属性:1})，1表示升序， -1表示降序
    • db.集合.createIndex({属性:1})
    • 上面两个命令效果等价
  • 具体操作：db.db_name.ensureIndex({name:1})

1.3 创建索引前后查询速度对比

测试：插入10万条数据到数据库中 插入数据：

`for(i=0;i<100000;i++){db.t255.insert({name:'test'+i,age:i})}`

创建索引前：

db.t1.find({name:'test10000'})
db.t1.find({name:'test10000'}).explain('executionStats')

创建索引后：

db.t255.ensureIndex({name:1})    //升序以name创建唯一索引,创建时不能有两个相同的name值
db.t1.find({name:'test10000'}).explain('executionStats')

1.4 索引的查看

默认情况下_id是集合的索引
查看方式：db.collection_name.getIndexes()
添加索引前：

> db.test2000.insert({"name":"hello",age:20})
WriteResult({ "nInserted" : 1 })
> db.test2000.find()
{ "_id" : ObjectId("5ae0232f625b9ddd91a0e7ae"), "name" : "hello", "age" : 20 }
> db.test2000.getIndexes()
[
    {
        "v" : 2,
        "key" : {
            "_id" : 1
        },
        "name" : "_id_",
        "ns" : "test2000.test2000"
    }
]

添加name为索引后:

> db.test2000.ensureIndex({name:1})
{
    "createdCollectionAutomatically" : false,
    "numIndexesBefore" : 1,
    "numIndexesAfter" : 2,
    "ok" : 1
}
> db.test2000.getIndexes()
[
    {
        "v" : 2,
        "key" : {
            "_id" : 1
        },
        "name" : "_id_",
        "ns" : "test2000.test2000"
    },
    {
        "v" : 2,
        "key" : {
            "name" : 1
        },
        "name" : "name_1",
        "ns" : "test2000.test2000"
    }
]

1.5 mongodb创建唯一索引

在默认情况下mongdb的索引字段的值是可以相同的,仅仅能够提高查询速度

添加唯一索引的语法：

db.collection_name.ensureIndex({"name":1},{"unique":true})

使用普通索引的效果如下：

> db.test2000.getIndexes()
[
    {
        "v" : 2,
        "key" : {
            "_id" : 1
        },
        "name" : "_id_",
        "ns" : "test2000.test2000"
    },
    {
        "v" : 2,
        "key" : {
            "name" : 1
        },
        "name" : "name_1",
        "ns" : "test2000.test2000"
    }
]
> db.test2000.insert({name:"hello",age:40})
WriteResult({ "nInserted" : 1 })
> db.test2000.find()
{ "_id" : ObjectId("5ae0232f625b9ddd91a0e7ae"), "name" : "hello", "age" : 20 }
{ "_id" : ObjectId("5ae02421625b9ddd91a0e7af"), "name" : "hello", "age" : 30 }
{ "_id" : ObjectId("5ae02432625b9ddd91a0e7b0"), "name" : "hello", "age" : 40 }

添加age为唯一索引之后：

> db.test2000.createIndex({age:1},{unique:true})
{
    "createdCollectionAutomatically" : false,
    "numIndexesBefore" : 2,
    "numIndexesAfter" : 3,
    "ok" : 1
}
> db.test2000.getIndexes()
[
    {
        "v" : 2,
        "key" : {
            "_id" : 1
        },
        "name" : "_id_",
        "ns" : "test2000.test2000"
    },
    {
        "v" : 2,
        "key" : {
            "name" : 1
        },
        "name" : "name_1",
        "ns" : "test2000.test2000"
    },
    {
        "v" : 2,
        "unique" : true,
        "key" : {
            "age" : 1
        },
        "name" : "age_1",
        "ns" : "test2000.test2000"
    }
]
> db.test2000.insert({"name":"world",age:20})
WriteResult({
    "nInserted" : 0,
    "writeError" : {
        "code" : 11000,
        "errmsg" : "E11000 duplicate key error collection: test2000.test2000 index: age_1 dup key: { : 20.0 }"
    }
})

1.6 删除索引

语法：db.t1.dropIndex({'索引名称':1})

> db.test2000.getIndexes()
[
    {
        "v" : 2,
        "key" : {
            "_id" : 1
        },
        "name" : "_id_",
        "ns" : "test2000.test2000"
    },
    {
        "v" : 2,
        "key" : {
            "name" : 1
        },
        "name" : "name_1",
        "ns" : "test2000.test2000"
    },
    {
        "v" : 2,
        "unique" : true,
        "key" : {
            "age" : 1
        },
        "name" : "age_1",
        "ns" : "test2000.test2000"
    }
]
> db.test2000.dropIndex({age:1})
{ "nIndexesWas" : 3, "ok" : 1 }
> db.test2000.dropIndex({name:1})
{ "nIndexesWas" : 2, "ok" : 1 }
> db.test2000.getIndexes()
[
    {
        "v" : 2,
        "key" : {
            "_id" : 1
        },
        "name" : "_id_",
        "ns" : "test2000.test2000"
    }
]

1.6 建立复合索引

在进行数据去重的时候，可能用一个字段来保证数据的唯一性，这个时候可以考虑建立复合索引来实现。

例如：抓全贴吧信息，如果把帖子的名字作为唯一索引对数据进行去重是不可取的，因为可能有很多帖子名字相同

建立复合索引的语法：db.collection_name.ensureIndex({字段1:1,字段2:1})

> db.test2000.getIndexes()
[
    {
        "v" : 2,
        "key" : {
            "_id" : 1
        },
        "name" : "_id_",
        "ns" : "test2000.test2000"
    }
]
> db.test2000.createIndex({name:1,age:1})
{
    "createdCollectionAutomatically" : false,
    "numIndexesBefore" : 1,
    "numIndexesAfter" : 2,
    "ok" : 1
}
> db.test2000.getIndexes()
[
    {
        "v" : 2,
        "key" : {
            "_id" : 1
        },
        "name" : "_id_",
        "ns" : "test2000.test2000"
    },
    {
        "v" : 2,
        "key" : {
            "name" : 1,
            "age" : 1
        },
        "name" : "name_1_age_1",
        "ns" : "test2000.test2000"
    }
]

1.7 建立索引注意点

  • 根据需要选择是否需要建立唯一索引
  • 索引字段是升序还是降序在单个索引的情况下不影响查询效率，但是带复合索引的条件下会有影响
    例如：在进行查询的时候如果字段1需要升序的方式排序输出，字段2需要降序的方式排序输出，那么此时复合索引的建立需要把字段1设置为1，字段2设置为-1

2. mongodb的备份和恢复

2.1 备份

备份的语法：

`mongodump -h dbhost -d dbname -o dbdirectory`
  • -h： 服务器地址， 也可以指定端⼝号
  • -d： 需要备份的数据库名称
  • -o： 备份的数据存放位置， 此⽬录中存放着备份出来的数据

示例：mongodump -h 192.168.196.128:27017 -d test1 -o ~/Desktop/test1bak

2.2 恢复

恢复语法：mongorestore -h dbhost -d dbname --dir dbdirectory

  • -h： 服务器地址
  • -d： 需要恢复的数据库实例
  • –dir： 备份数据所在位置

示例：mongorestore -h 192.168.196.128:27017 -d test2 --dir ~/Desktop/test1bak/test1

mongodb和python交互

1. mongdb和python交互的模块

pymongo提供了mongdb和python交互的所有方法
安装方式: pip install pymongo

2. 使用pymongo

  1. 导入pymongo并选择要操作的集合 数据库和集合乜有会自动创建

     from pymongo import MongoClient
 client = MongoClient(host,port)   #实例化连接的客户端
 collection = client[db名][集合名]	#创建数据库的collections的连接

  2. 添加一条数据

    ret = collection.insert_one({"name":"test10010","age":33})
print(ret)

  3. 添加多条数据

     item_list = [{"name":"test1000{}".format(i)} for i in range(10)]
     #insert_many接收一个列表，列表中为所有需要插入的字典
 t = collection.insert_many(item_list)

  4. 查找一条数据

     #find_one查找并且返回一个结果,接收一个字典形式的条件
 t = collection.find_one({"name":"test10005"})
 print(t)

  5. 查找全部数据
    结果是一个Cursor游标对象，是一个可迭代对象，可以类似读文件的指针，但是只能够进行一次读取

     #find返回所有满足条件的结果，如果条件为空，则返回数据库的所有
 t = collection.find({"name":"test10005"})
     #结果是一个Cursor游标对象，是一个可迭代对象，可以类似读文件的指针，
 for i in t:
     print(i)
 for i in t: #此时t中没有内容,这是游标的特殊属性
     print(i)

  6. 更新一条数据 注意使用$set 命令

     #update_one更新一条数据
 collection.update_one({"name":"test10005"},{"$set":{"name":"new_test10005"}})

  7. 更新全部数据, 注意使用$set 命令

     # update_one更新全部数据
 collection.update_many({"name":"test10005"},{"$set":{"name":"new_test10005"}})

  8. 删除一条数据

     #delete_one删除一条数据
 collection.delete_one({"name":"test10010"})

  9. 删除全部数据

     #delete_may删除所有满足条件的数据
 collection.delete_many({"name":"test10010"})

代码练习

    >db.hero.aggregate({$group:{_id:"$hometown",count:{$sum:1}}})
    { "_id" : "华⼭", "count" : 1 }
    { "_id" : "⼤理", "count" : 2 }
    { "_id" : "桃花岛", "count" : 2 }
    { "_id" : "蒙古", "count" : 2 }

    > db.hero.aggregate({$group:{_id:"$hometown",count:{$sum:1},total_age:{$sum:"$age"}}})
    { "_id" : "华⼭", "count" : 1, "total_age" : 18 }
    { "_id" : "⼤理", "count" : 2, "total_age" : 61 }
    { "_id" : "桃花岛", "count" : 2, "total_age" : 58 }
    { "_id" : "蒙古", "count" : 2, "total_age" : 38 }

{$sum:1} 与 {$sum:"$age"}的区别

    > db.hero.aggregate({$group:{_id:"$hometown",count:{$sum:1},total_age:{$sum:"$age"},avg_age:{$avg:"$age"}}})
    { "_id" : "华⼭", "count" : 1, "total_age" : 18, "avg_age" : 18 }
    { "_id" : "⼤理", "count" : 2, "total_age" : 61, "avg_age" : 30.5 }
    { "_id" : "桃花岛", "count" : 2, "total_age" : 58, "avg_age" : 29 }
    { "_id" : "蒙古", "count" : 2, "total_age" : 38, "avg_age" : 19 }

    > db.hero.aggregate({$group:{_id:null,count:{$sum:1}}})
    { "_id" : null, "count" : 7 }

    > db.hero.aggregate({$group:{_id:"$gender",hometown:{$push:"$hometown"}}})
    { "_id" : false, "hometown" : [ "桃花岛", "蒙古" ] }
    { "_id" : true, "hometown" : [ "蒙古", "桃花岛", "⼤理", "⼤理", "华⼭" ] }

   > db.hero.aggregate({$group:{_id:"$gender",hometown:{$push:"$hometown"},name:{$push:"$name"}}})
    { "_id" : false, "hometown" : [ "桃花岛", "蒙古" ], "name" : [ "⻩蓉", "华筝" ] }
    { "_id" : true, "hometown" : [ "蒙古", "桃花岛", "⼤理", "⼤理", "华⼭" ], "name" : [ "郭靖", "⻩药师", "段誉", "段王爷", "洪七公" ] }

    > db.hero.aggregate({$group:{_id:"$gender",name:{$push:"$$ROOT"}}})
    { "_id" : false, "name" : [ { "_id" : ObjectId("5c416f8fea98ce04531787ee"), "name" : "⻩蓉", "hometown" : "桃花岛", "age" : 18, "gender" : false }, { "_id" : ObjectId("5c416f8fea98ce04531787ef"), "name" : "华筝", "hometown" : "蒙古", "age" : 18, "gender" : false } ] }
    { "_id" : true, "name" : [ { "_id" : ObjectId("5c416f8fea98ce04531787ed"), "name" : "郭靖", "hometown" : "蒙古", "age" : 20, "gender" : true }, { "_id" : ObjectId("5c416f8fea98ce04531787f0"), "name" : "⻩药师", "hometown" : "桃花岛", "age" : 40, "gender" : true }, { "_id" : ObjectId("5c416f8fea98ce04531787f1"), "name" : "段誉", "hometown" : "⼤理", "age" : 16, "gender" : true }, { "_id" : ObjectId("5c416f8fea98ce04531787f2"), "name" : "段王爷", "hometown" : "⼤理", "age" : 45, "gender" : true }, { "_id" : ObjectId("5c416f8fea98ce04531787f3"), "name" : "洪七公", "hometown" : "华⼭", "age" : 18, "gender" : true } ] }

    > db.hero.aggregate({$group:{_id:{hometown:"$hometown",gender:"$gender"},count:{$sum:1}}})
    { "_id" : { "hometown" : "华⼭", "gender" : true }, "count" : 1 }
    { "_id" : { "hometown" : "蒙古", "gender" : true }, "count" : 1 }
    { "_id" : { "hometown" : "桃花岛", "gender" : false }, "count" : 1 }
    { "_id" : { "hometown" : "⼤理", "gender" : true }, "count" : 2 }
    { "_id" : { "hometown" : "蒙古", "gender" : false }, "count" : 1 }
    { "_id" : { "hometown" : "桃花岛", "gender" : true }, "count" : 1 }

插入多条数据把字典放入列表中
db.land.insert([{ "country" : "china", "province" : "sh", "userid" : "a" },{ "country" : "china", "province" : "sh", "userid" : "b" },{ "country" : "china", "province" : "sh", "userid" : "a" },{ "country" : "china", "province" : "sh", "userid" : "c" },{ "country" : "china", "province" : "bj", "userid" : "da" },{ "country" : "china", "province" : "bj", "userid" : "fa" }])

   > db.land.aggregate({$group:{_id:{country:"$country",province:"$province",userid:"$userid"}}})

{ "_id" : { "country" : "china", "province" : "sh", "userid" : "a" } }
{ "_id" : { "country" : "china", "province" : "sh", "userid" : "c" } }
{ "_id" : { "country" : "china", "province" : "sh", "userid" : "b" } }
{ "_id" : { "country" : "china", "province" : "bj", "userid" : "fa" } }
{ "_id" : { "country" : "china", "province" : "bj", "userid" : "da" } }

 > db.land.aggregate({$group:{_id:{country:"$country",province:"$province",userid:"$userid"}}},{$group:{_id:{country:"$_id.country",province:"$_id.province"},count:{$sum:1}}})
    { "_id" : { "country" : "china", "province" : "bj" }, "count" : 2 }
    { "_id" : { "country" : "china", "province" : "sh" }, "count" : 3 }

 > db.hero.aggregate({$match:{age:{$gt:18}}},{$group:{_id:"$gender",count:{$sum:1}}})
    { "_id" : true, "count" : 3 }

> db.hero.aggregate({$group:{_id:"$hometown",count:{$sum:1}}},{$project:{_id:0,count:1,hometown:"$_id"}})
    { "count" : 1, "hometown" : "华⼭" }
    { "count" : 2, "hometown" : "⼤理" }
    { "count" : 2, "hometown" : "桃花岛" }
    { "count" : 2, "hometown" : "蒙古" }

 > db.hero.aggregate({$group:{_id:"$hometown",count:{$sum:1}}},{$project:{_id:0,sum:"$count",hometown:"$_id"}})
    ----------打印结果同上,只是把count重命名为sum
非空盒子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python与mongodb更新_python 与 mongodb的交互--更新操作
weixin_39887925的博客
12-19 550
这里只要讨论python与mongod交互的时候insert的问题：from pymongo import *def insert_func():try:client_obj= MongoClient(port=27017,host='localhost')db = client_obj.test#执行插入操作db.insert_one({'name':'mary','age':15})#插入多条...
mongodb 数据库基本操作 使用MongoDB Python操作NoSQL数据库
最新发布
05-11
Python是与MongoDB交互的常用编程语言之一，提供了PyMongo库，使得在Python环境中操作MongoDB变得简单易行。在这个话题中，我们将探讨如何使用Python进行MongoDB的基本操作，包括连接数据库、创建集合、插入文档、...
Mongodb的索引操作，与python的交互
littlespider889的博客
08-05 344
Mongodb的索引操作 1. 为什么mongdb需要创建索引 • 加快查询速度 • 进行数据的去重 2. mongodb创建简单的索引方法 • 语法：db.集合名.ensureIndex({属性:1})，1表示升序， -1表示降序 3. 创建索引前后查询速度对比 测试：插入10万条数据到数据库中 插入数据 for(i=0;i<100000;i++){db.test.insert({name:'test'+i,age:i})} 创建索引前 db.test.find({name:'test9999'})
Python中检查MongoDB的返回结果是否为空
weixin_33911824的博客
12-07 3644
需求：往MongoDB库中写入数据，但是需要先检索一下库中是否已经有内容，如果有则提示已经存在。解决方案：通过MongoDB的find命令，进行精确匹配，匹配后使用count命令查看是否为零代码：name = input('请输入您的姓名：')find = db.student.find({'姓名':name},{'姓名':1}) #把查找结果赋予变量if find.count()!=0: #查...
python爬虫二十：mongodb的高级使用以及python操作mongodb
weixin_49088841的博客
09-20 363
1、聚合 聚合：聚合是基于数据处理的聚合管道，每个文档通过一个由多个阶段组成的管道，可以对每个阶段的管道进行分组、过滤等功能，然后经过一系列的处理，输出相应的结果 测试数据db.stu.insert([{name:"a", hometown: '东北', age: 20, gender: true},{name:"b", hometown: '长沙', age: 18, gender: false},{name:"c ", hometown: '武汉', age: 18, gender: false},{n
python连接mongodb简明教程
深入理解PostgreSQL
02-13 1万+
这篇没有找到原出处 import pymongo con = pymongo.Connection('localhost', 27017) mydb = con.mydb # new a database mydb.add_user('test', 'test') # add a user mydb.authenticate('test', 'test') # check auth m
python mongodb根据_id查询数据
热门推荐
happybai11的博客
08-03 1万+
根据_id查询数据代码如下 from bson.objectid import ObjectId articles.find_one({‘_id’:ObjectId(‘50f0d76347f4ec148890ef1e’)}) 个人博客 https://blog.csdn.net/happybai11
mongodb的python_MongoDB数据库入门及Python交互
weixin_39980711的博客
12-13 63
小白一枚，整理一些MongoDB数据库的学习笔记，如有错误还望多多指正！1.安装1)安装步骤参考官方文档。2)文档链接：http://www.mongodb.org.cn/tutorial/55.html2.MongoDB数据库类型：非关系型数据库3.启动数据库1)打开终端，输入命令行 sudo mongod启动服务端：命令行 sudo service mongodb start关闭服务端：sud...
mongodb笔记（二）索引、python与mongodb交互
行者
12-06 597
mongodb笔记索引创建索引python与mongodb交互重点 索引 创建索引 索引：以提升查询速度 测试：插入10万条数据到数据库中 for(i=0;i<100000;i++){db.t12.insert({name:'test'+i,age:i})} db.t1.find({name:'test10000'}) db.t1.find({name:'test10000'}).explain('executionStats') 建立索引之后对比： 语法：db.集合.ensureIndex({属
mongodb_python连接mongodb_python_MongoDB_
10-01
MongoDB是一种流行的开源、分布式文档型数据库，以其灵活性和高性能而受到广大开发者的青睐。Python作为一门简洁且...通过熟练掌握`pymongo`库，你可以轻松地在Python项目中与MongoDB数据库交互，实现高效的数据管理。
mongodb_with_python
04-10
在Jupyter Notebook环境下，Python与MongoDB的集成提供了交互式的数据处理和分析体验。Jupyter Notebook是一个基于Web的交互式计算环境，让用户可以在一个文档中编写代码、展示结果和添加文本注释，这对于教学、数据...
Python操作redis和mongoDB的方法
09-08
Python在大数据处理和分布式系统中经常与键值存储系统如Redis和文档型数据库MongoDB结合使用，以实现高效的数据交互。本文将详细讲解如何使用Python操作Redis和MongoDB。 首先，Redis是一个内存中的数据结构存储...
mongodb_prac：使用Mongodb
02-04
在 "mongodb_prac-master" 文件夹中，可能包含了一些示例代码，演示了如何使用 Python 与 MongoDB 交互。这些实践项目通常会涵盖数据库的创建、连接、插入、查询、更新和删除操作，以及可能涉及的更复杂功能，如分片...
mysql配置白名单访问
非空盒子的博客
09-25 1万+
mysql配置白名单访问 1.登录 mysql -uroot -pmysql 2.切换至mysql库 use mysql; 3.查看有白名单权限的用户 select Host,User from user; 4.指定ip有权限访问mysql GRANT ALL ON *.* to root@'192.168.1.4' IDENTIFIED BY 'your-root-password'; 如果没有...
MySQL03--关联、子查询
非空盒子的博客
03-24 613
1.连接查询 当查询结果的列来源于多张表时，需要将多张表连接成一个大的数据集，再选择合适的列返回 mysql支持三种类型的连接查询，分别为： 内连接查询：查询的结果为两个表匹配到的数据 右连接查询：查询的结果为两个表匹配到的数据，右表特有的数据，对于左表中不存在的数据使用null填充 左连接查询：查询的结果为两个表匹配到的数据，左表特有的数据，对于右表中不存在的数据使用null填充 语法 se...
MySQL与django交互(ORM)
非空盒子的博客
05-16 448
1. ORM框架简介 O是object，也就类对象的意思，R是relation，翻译成中文是关系，也就是关系数据库中数据表的意思，M是mapping，是映射的意思。在ORM框架中，它帮我们把类和数据表进行了一个映射，可以让我们通过类和类对象就能操作它所对应的表格中的数据。ORM框架还有一个功能，它可以根据我们设计的类自动帮我们生成数据库中的表格，省去了我们自己建表的过程。 django中内嵌了OR...
Python中使用redis订阅
非空盒子的博客
08-22 370
推送方: import time import redis r = redis.Redis(host="127.0.0.1", password="", decode_responses=True) while 1: i = time.time() # 定义频道,以及给频道里塞的值 r.publish("time", i) print(i) time...
python中操作redis
非空盒子的博客
04-10 273
在python中使用redis redis库提供两个类，Redis和StrictRedis，用于实现Redis的命令. StrictRedis用于实现大部分的官方命令，并使用官方的语法和命令. Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py. Redis连接实例是线程安全的，可以直接将redis连接实例设置为一个全局变量，直接使用. 如果需要另一个Redis实例（o...
MySQL01--数据库数据表和增删改查的基本操作
非空盒子的博客
03-17 240
– 数据库的操作 -- 链接数据库 mysql -uroot -p mysql -uroot -pmysql --(-p后面的mysql是密码,-r后面的root是用户名称) -- 退出数据库 exit/quit/ctrl+d -- sql语句最后需要有分号;结尾 -- 显示数据库版本 select version(); -- 显示时间 select now(); -- 查看所有数...
python操作redis和mongodb,以redis为缓存,mongodb为主数据库
10-23
Python可以使用redis-py库和pymongo库来操作Redis和MongoDB。 要使用Redis作为缓存，可以使用redis-py库。首先需要安装redis-py库，然后在Python代码中导入redis模块。接下来，可以使用redis模块的相关方法来与...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值