Mongodb的使用 (PyMongo)

最新推荐文章于 2023-07-19 14:10:40 发布
最新推荐文章于 2023-07-19 14:10:40 发布
阅读量1.1k 收藏
点赞数
分类专栏： 数据库 2018 文章标签： 2018 数据库
本文链接：https://blog.csdn.net/jason_cuijiahui/article/details/80029324
版权
2018 同时被 2 个专栏收录
166 篇文章 2 订阅
订阅专栏
数据库
12 篇文章 0 订阅
订阅专栏

官方文档

培训

Mongodb中的事务

MySQL事务

MySQL 事务主要用于处理操作量大，复杂度高的数据。比如说，在人员管理系统中，你删除一个人员，你即需要删除人员的基本资料，也要删除和该人员相关的信息，如信箱，文章等等，这样，这些数据库操作语句就构成一个事务！

  • 在 MySQL 中只有使用了 Innodb 数据库引擎的数据库或表才支持事务。
  • 事务处理可以用来维护数据库的完整性，保证成批的 SQL 语句要么全部执行，要么全部不执行。
  • 事务用来管理 insert,update,delete 语句

一般来说，事务是必须满足4个条件（ACID）：：原子性（Atomicity，或称不可分割性）、一致性（Consistency）、隔离性（Isolation，又称独立性）、持久性（Durability）。

  • 原子性：一个事务（transaction）中的所有操作，要么全部完成，要么全部不完成，不会结束在中间某个环节。事务在执行过程中发生错误，会被回滚（Rollback）到事务开始前的状态，就像这个事务从来没有执行过一样。

  • 一致性：在事务开始之前和事务结束以后，数据库的完整性没有被破坏。这表示写入的资料必须完全符合所有的预设规则，这包含资料的精确度、串联性以及后续数据库可以自发性地完成预定的工作。

  • 隔离性：数据库允许多个并发事务同时对其数据进行读写和修改的能力，隔离性可以防止多个事务并发执行时由于交叉执行而导致数据的不一致。事务隔离分为不同级别，包括读未提交（Read uncommitted）、读提交（read committed）、可重复读（repeatable read）和串行化（Serializable）。

  • 持久性：事务处理结束后，对数据的修改就是永久的，即便系统故障也不会丢失。

例子

#！/usr/bin/python

# -*- coding: UTF-8 -*-

import MySQLdb  

#包的导入

db = MySQLdb.connect("ip地址，本机为localhost"，"用户名","密码","表名")

#打开数据库的连接 

cursor = db.cursor()

#使用cursor()方法获得操作游标

try:
   # 执行sql语句
   cursor.execute("update account set money=money-600 where name='zhangsan'")
   cursor.execute("update account set money=money+600 where name='lisi'")
   # 提交到数据库执行
   db.commit()
except:
   # 发生错误时回滚    回滚到获取游标的位置开始重新执行  看代码上面的文字有说明
   db.rollback()

db.close()

#关闭数据库的连接

Mongodb也即将加入事务特性

数据类型

ObjectID

重要的操作

1. 查询find的使用

查询collection的大小

def get_size(self, table):
    return self.mc[table].find().count()

查询(排序，跳跃，返回某些字段，升序降序)

def get_many(self, table, cond={}, items=None, n=0, sort_key=None, ascend=True, skip=0):
    collection = self.mc[table].find(cond, items) if items else self.mc[table].find(cond)
    if sort_key:
        n = FLAGS.table_capacity if not n else n
        res = collection.limit(n).skip(skip).sort([(sort_key, 1 if ascend else -1)])
        return list(res) if res else None
    else:
        ''' slice without sort make no sense '''
        res = collection.limit(n).skip(skip)
        return list(res) if res else None
# 使用，只返回'asset_id'字段
asset_dict = self.mongo_cli.get_many(table=FLAGS.asset_info, cond={'$or': [{'asset_definition.name': definition}, {'asset_definition.symbol': definition}]}, items={'asset_id': True, '_id': False})
# 返回
{'asset_id': xxx}
# 使用，只返回'address'字段和‘txs'数组的最后一个元素
db.address_info.find({}, {'_id': 0, 'address': 1, 'txs': { $slice: [-1, 1]}})
# 返回
{ "address" : "sm1q3jwsv0lhfmndnlag3kp6avpcq6pkd3xyxg7z8f", "txs" : [ "158d7d7c6a8d2464725d508fafca76f0838d998eacaacb42ccc58cfb0c155352" ] }
{ "address" : "sm1qpat0qv68yk6vtlppm0377rxxjcmj4x2jhwsnxr", "txs" : [ "b4f966eb7ce78b204b47551bbfb8c04ba769819e8681b08276e8f2e50c2b558c" ] }
{ "address" : "sm1qeckclscyjmld9wrmqkhdwjmtx3zufk8jfun99q", "txs" : [ "b908148d3cbeb1bbf31728866ea7d20e2d9a40c2533e3229b1e9e8548aa52693" ] }
{ "address" : "sm1qmzscm80frxkla6ew8g56k0743qthxqr3kq6ml4", "txs" : [ "b30e2e0759d56c6239b2e1351747a97aa5c7f321161f7e185605f5c5e6542f24" ] }
{ "address" : "sm1qhd49u5uxa8w37p3jyd96dfttfcp538ydjezk5z", "txs" : [ "b908148d3cbeb1bbf31728866ea7d20e2d9a40c2533e3229b1e9e8548aa52693" ] }
{ "address" : "sm1q7k66mj4a595t50esgvfx7xjznrc64qs9fz4clx", "txs" : [ "bd1eb6bf520b20ecf896f4b5400d779c17016c8bda30edabdf0432e2a43798aa" ] }
{ "address" : "sm1qccdqucg763kr70jnvjaxw5ncju8y7am6q53wm4", "txs" : [ "fc0685846174b6d9d9997bdacd8cf7d53c43a6d827e707c489ad4593bad3609b" ] }
{ "address" : "sm1qfadew3ksk9atzkezfcvxvxj6zvsy5degf33lzh", "txs" : [ "b908148d3cbeb1bbf31728866ea7d20e2d9a40c2533e3229b1e9e8548aa52693" ] }
{ "address" : "sm1qm3ulf032p89hawmjl7gcc2an77gztl2vhhuku6", "txs" : [ "b908148d3cbeb1bbf31728866ea7d20e2d9a40c2533e3229b1e9e8548aa52693" ] }
{ "address" : "sm1q6w768cvwr5j9egg5a00nmuppgye0uuvw78k4hu", "txs" : [ "bd1eb6bf520b20ecf896f4b5400d779c17016c8bda30edabdf0432e2a43798aa" ] }

多字段排序查询

def sort(self, key_or_list, direction=None):
    """Sorts this cursor's results.

    Pass a field name and a direction, either
    :data:`~pymongo.ASCENDING` or :data:`~pymongo.DESCENDING`::

        for doc in collection.find().sort('field', pymongo.ASCENDING):
            print(doc)

    To sort by multiple fields, pass a list of (key, direction) pairs::

        for doc in collection.find().sort([
                ('field1', pymongo.ASCENDING),
                ('field2', pymongo.DESCENDING)]):
            print(doc)
# 先按照field1字段降序排序，在该字段中有相同值时按照另一字段field2升序排序
# 一下三种表达方式等价
.sort({field1: -1, field2: 1})
.sort([['field1', 'desc'], ['field2', 'asc']])
.sort([['field1', 'desc'], 'field2'])

高级检索

  • 条件操作符号： > 、 < 、 >= 、<= 、!=
{"age":{$gt:1}} : person集合中年龄大于1的所有数据文档
  • $all匹配所有，类似t-sql中的in，但是t-sql中的in是满足括号里面的任何一个都能出数据，而mongodb中的$all则必须满足[]中的所有值。
{age:{$all:[7,9]}}:age数组中只要有7和9就满足条件。如果只有7，没有9则不符合条件。
  • $in包含，$nin不包含。跟t-sql中的in，not in一样。
{age:{$in:[10,11]}}:如果age是数组的话，只要数组包含in中条件的任何一条数据，都能被检索出来。不是数组，则只要满足in中的任何一个条件数据，也可以被检索出来。
  • $size数组元素个数
{age:{$size:4}}:age数组元素个数为4的数据结果集。
  • $exists判断字段是否存在，（true/false）
{city:{$exists:true}}: 集合中存在city这个字段的数据
  • $mod取模运算
{age:{$mod:[7,6]}}:集合中模7余6的数据
  • $not正则匹配不满足条件
import re
for noMatch in db.inventory.find( { "item": { "$not": re.compile("^p.*") } } ):
    print noMatch
db.inventory.find( { price: { $not: { $gt: 1.99 } } } )

This query will select all documents in the inventory collection where:

  1. the price field value is less than or equal to 1.99
  2. the price field does not exist

{ $not: { $gt: 1.99 } } is different from the $lte operator. { $lte: 1.99 } returns only the documents where price field exists and its value is less than or equal to 1.99.

  • 正则表达式
    以下命令使用正则表达式查找包含 runoob 字符串的文章：
>db.posts.find({post_text:{$regex:"runoob"}})

以上查询也可以写为：

>db.posts.find({post_text:/runoob/})

如果检索需要不区分大小写，我们可以设置 $options 为 $i。
以下命令将查找不区分大小写的字符串 runoob：

>db.posts.find({post_text:{$regex:"runoob",$options:"$i"}})
  • cursor
    事实上在日常的业务中，很少有一次性取10000条数据的，但是有时候
    从数据库取出来的数据是跨数据的，比如取第100页的数据。我们查询
    的时候不想一次性取出那么多数据，想进行逐条处理，这个时候我们就
    需要使用“游标(cursor)”来解决。
var cursor = db.bar.find().skip(8000).limit(10);
while(cursor.hasNext()) {
    printjson(cursor.next());
};
  • where
db.comsys.insert({"_id":"20180101","day":30,"time":24});
db.comsys.find({$where:function(){if(this.day > 20) return true;}});
db.comsys.find({$where: "this.day > 20"})

$where操作的原理：
当由where操作时，他将逐一遍历mongo集合中文档对象，将其属性由Bson格式转换为Json。然后能通过json找到对象属性，供js来调用。而如果不用where语句进行比较，则是通过文档对象的Bson二进制形式直接进行比较，类似于关系型数据库。

  1. 缺点:
    1. 不利用索引
    2. 他的的比较操作，是必须逐一遍历该集合下所有文档对象，将二进制转换为json对象在磁盘上进行判断操作！！！这将带来多大的性能消耗，效率很低。
  2. 优点
    1. 能写出比较复杂的操作语句
    2. 能使的表达式写的比较容易
  3. 改良
    可用常规查询做前置过滤，配置”$where”查询进行调优，可达到不牺牲性能的要求。

2. 更新数据

update

db.COLLECTION_NAME.update({},{},true|false,true|false);
  • 第一个参数是查询选择器，与findOne的参数一样，相当于sql的where子句
  • 第二个参数是更新操作文件，由各种更新操作符和更新值构成，
  • 第三个参数是upsert。如果是true，表示如果没有符合查询选择器的文档，mongo将会综合第一第二个参数向集合插入一个新的文档。
  • 第四个参数是multi。true:更新匹配到的所有文档，false：更新匹配到的第一个文档，默认值

findAndModify

一次最多只更新一个文档，也就是条件query条件，且执行sort后的第一个文档。

db.COLLECTION_NAME.findAndModify({query:{}, update:{}, remove:true|false, new:true|false, sort:{}, fields:{}, upsert:true|false});
  • query是查询选择器，与findOne的查询选择器相同
  • update是要更新的值，不能与remove同时出现
  • remove表示删除符合query条件的文档，不能与update同时出现
  • new为true：返回更新后的文档，false：返回更新前的，默认是false
  • sort：排序条件，与sort函数的参数一致。
  • fields：与find*的第二个参数一致，表明返回哪些字段
  • upsert：与update的upsert参数一样。

update和findandmodify用处的区别

  1. with findAndModify you increment the counter and get its incremented value in one step.
    Compare if A perform this operation in two steps (update and get value) and B does the same operation between your steps
    then A and B may get the same last counter value instead of two different (just one example of possible issues).

  2. using update to modify a single document i.e.(“multi”:false} is also atomic. Currently, it should also be faster than doing the equivalent update using findAndModify.

常用操作命令

大于/小于/AND/OR

$gt:大于
$lt:小于
$gte:大于或等于
$lte:小于或等于
$ne:不等于
db.collection.find({ "field" : { $lt: value } } )

注意在python中，查询条件为{“field”: {“$lt”: value}}

$inc (配合更新操作使用)

只能用于整型,长整型,双精度浮点型。
初始状态：

{
  _id: 1,
  sku: "abc123",
  quantity: 10,
  metrics: {
    orders: 2,
    ratings: 3.5
  }
}

操作：

db.products.update(
   { sku: "abc123" },
   { $inc: { quantity: -2, "metrics.orders": 1 } }
)

结果：

{
   "_id" : 1,
   "sku" : "abc123",
   "quantity" : 8,
   "metrics" : {
      "orders" : 3,
      "ratings" : 3.5
   }
}

更多查询等操作 & 性能优化

jason_cuijiahui
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pymongo 的使用
ytyckjh的博客
08-15 567
在pymongo遇到的困难在这里记一下(这个版本是3.8) 连接 建立连接 pymongo conn = pymongo.MongoClient('localhost', 27017) 表 collection = conn['db']['article'] # 或 collection = conn.db.article 表名=连接名['库名']['集合名'] 分组 func = ''...
Pymongo 使用
Wollens Blogs
03-26 5074
Pymongo 说明：以下操作 pymongo: 4.0.4 mongo: 4.4.4 MongoDB 是由 C++ 语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似 JSON 对象，它的字段值可以包含其他文档、数组以及文档数组，非常灵活。 连接 MongoDB 没有开启认证 mongo 连接 MonogoDB 时，我们需要使用 PyMonogo 中的 MongoClient。连接 MongoDB 有两种形式 方式一：传入 host 和 port import
pymongo
这里是标题
02-28 407
注：在ipython中练习使用，效果更佳 阅读目录 0. 何为pymongo1、安装pymongo2、连接mongodb3、获取数据库列表4、连接数据库5、权限验证6、获取聚集列表 (聚集的概念类似于关系型数据库中的表)7、连接聚集8、查看聚集的一条记录9、查看聚集的所有key (类似于关系型数据库中的字段)10、查看聚集的所有记录11、查看记录总数12、根据条件查
pymongo的使用
cdkd123的专栏
03-21 151
pymongo的使用 我们也必须在python中使用到mongo，下面的代码可以练习pymongo 1.1 安装pymongo sudo pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pymongo 1.2 pymongo的基操 下面这段代码，演示了基本pymongo的操作： from pymongo import MongoClient, DESCENDING from bson import ObjectId class TestPy
pymongo使用教程
s_daqing的博客
01-29 4205
首先导入： from pymongo import MongoClient 连接mongodb： mongo_client = MongoClient(mongo_host, mongo_port, connect=False) 连接数据库：例如连接my_db数据库，没有则自动创建 mongo_db = mongo_client["my_db"] 认证登录(如果没有设mongodb的账号和密码的话，此步骤不用)： mongo_db.authenticate('username', 'password'
Python操作MongoDB数据库PyMongo库使用方法
09-22
使用`pymongo.Connection()`或`from pymongo import Connection`导入后调用`Connection()`函数来创建到MongoDB服务器的连接。基本语法是`conn = pymongo.Connection(host, port)`，其中`host`是MongoDB服务器的IP...
Python的MongoDB模块PyMongo操作方法集锦
09-21
首先，你需要导入`pymongo`模块，这将允许你在Python代码中使用MongoDB的功能。 ```python import pymongo ``` 2. **连接MongoDB服务器**： 使用`MongoClient`创建到MongoDB服务器的连接。默认情况下，...
Python使用pymongo模块操作MongoDB的方法示例
09-09
在Python中，我们通常使用`pymongo`这个官方支持的Python驱动来与MongoDB进行交互。本篇文章将深入探讨如何使用`pymongo`模块在Python中操作MongoDB，包括连接数据库、数据的增删改查以及日志记录。 首先，要使用`...
pymongo的简单使用
bull521的博客
07-15 684
MongoDB是典型的非关系型数据库，它的存储形式是BSON（Binary JSON），是类似于JSON格式的二进制存储。这里旨在介绍一些python3下pymongo库的一些简单用法。 1.连接MongoDB python下连接MongoDB需要用到pymongo库里面的MongoClient。这里有两种形式，一种是传递IP地址和端口即可： import pymongo MONGO_C...
python使用pymongo操作mongo的完整步骤
09-19
主要给大家介绍了关于python使用pymongo操作mongo的完整步骤，文中通过示例代码介绍的非常详细，对大家学习或者使用python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
PyMongo的使用方法详解！最全面的教程
java_hellochen的博客
09-23 6476
MongoDB 操作数据库： # -*- coding=utf-8 -*- #引入Mongo模块 ↓ import pymongo #连接数据库服务器 ↓ client = pymongo.MongoClient("localhost",27017) #选择数据库 ↓ db_test = client.test #推荐使用：db_test = client["test"] #获取集合 ↓ collection1 = db_test.col #获取collection1集合内全部数据 ↓ x = col
python pymongo 的使用
zscccccc的博客
01-11 675
python pymongo 的使用
pymongo的基础使用
weixin_59246157的博客
04-21 714
pymongo是Python中使用MongoDB的官方驱动程序。这将创建一个名为“myDatabase”的数据库。要了解更多详细信息，请参阅pymongo的官方文档。这将更新“myCollection”集合中名为“John”的文档的年龄为26岁。这将从“myCollection”集合中删除名为“John”的文档。这将向“myCollection”集合中插入一条文档。这将返回“myCollection”集合中的所有文档。这将创建一个名为“myCollection”的集合。2. 连接到MongoDB。
Python开发-pymongo的基本使用-mongoDB的操作
伪随机的张三
02-27 2057
在使用Python开发的时候，我们常用的数据库除了MySQL以外还有：mongoDB。这个数据库类似于json形式的表达，也和我做的iOS开发中字典的数据模式类似，都是以 key -- value 存储的，而且操作简单所以在Python开发中很常用。我的Python开发文章都是以Python3.6为基准 上代码： #头文件引入库 from pymongo import Connection #
mongodb pymongo mongoengine
yangxiaodong88的博客
04-13 775
为什么要使用mongodb MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的 更高的写入负载 默认情况， mongodb 更侧重更高数据的写入能力， 而不是事物的安全。mongodb很适合业务系统中有大...
PyMongo 事务回滚
Léon
07-03 3191
PyMongo 事务回滚 在许多程序中，我们需要因程序中间报错或终止，需要回滚已经完成的增加、删除、修改等操作。MongoDB在单主机的情况下，是无法进行回滚操作的。因此，需要先搭建MongoDB副本集。可以点击此处查看Docker 搭建MongoDB Replication（副本集）。 连接MongoDB副本集的主节点。 import pymongo # 连接Mongodb 注意此处连接的应该是MongoDB副本集的主节点 client = pymongo.MongoClient('192.16
Python笔记之MongoDB操作
GitChat
11-29 445
个人学习笔记系列，这一篇主要是Python操作MongoDB的一些示例。
python mongodb lookup关联查询
最新发布
weixin_43632687的博客
07-19 618
lookup的使用
数据库【mongodb】之pymongo
05-26
下面是一个使用Pymongo连接MongoDB数据库的例子： ```python import pymongo # 连接MongoDB数据库 client = pymongo.MongoClient("mongodb://localhost:27017/") # 创建或选择数据库 db = client["mydatabase"] ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值