数据分析-mongodb语句5.28

最新推荐文章于 2024-03-28 03:56:34 发布
最新推荐文章于 2024-03-28 03:56:34 发布
阅读量121 收藏
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/swzheng97/article/details/117431690
版权

昨日内容回顾

  • mongodb安装

    细心的一步步点击即可

# 搜索网上安装教程即可

  • 文件准备

    data文件夹
	db文件夹
log文件
	mongod.log日志文件
mongod.cfg配置文件

  • 基本NoSQL语句

    mongo
show dbs
exit /quit()

  • 用户管理

    针对不同的用户可以创建不同的账号以及不同的权限
用户的账号信息可以保存在任意的库下没有规定固定
db.createUser({})
db.auth({})

  • 库、集合、文档增删改查

    show dbs
use db1
db.dropDatabase()

db.createCollection()
use userinfo
show tables
db.userinfo.drop()

db.userinfo.insert()
db.userinfo.find()
db.userinfo.update()
db.userinfo.delete()

  • 运算符

    比较运算符
	$gt $lt $gte $lte $ne $not
逻辑运算符
	, (and)  $or
    
    db.userinfo.find({'name':'jason','pwd':123})
    db.userinfo.find({
        '$or':[
            {'name':'jason'},
            {'pwd':123}
        ]
    })

今日内容概要

  • 聚合查询

  • 分组查询

  • 查询关键字补充

  • 多表查询练习题

  • mongodb可视化软件(类似于MySQL的Navicat)

  • python操作mongodb(类似于pymysql模块操作MySQL)

    pymongo模块

今日内容详细

成员运算

# SQL:in,not in
# MongoDB:"$in","$nin"

# 1.select * from db1.user where age in (20,30,31);
db.user.find({"age":{"$in":[20,30,31]}})
# 2.select * from db1.user where name not in ('ax','yo');
db.user.find({"name":{"$nin":['ax','yo']}})
# 3.select * from db1.user where age in (20,30,31) or name != 'jason';
db.user.find({"$or":[{"age":{"$in":[20,30,31]}},{"name":{"$ne":'jason'}}]})

正则匹配

用一些覅好符号的组合去文本中筛选出符合条件的数据

# SQL:regexp 正则
# MongoDB:/正则表达式/i

# select * from db1.user where name regexp '^j.*?(g|n)$';
db.user.find({"name":/^j.*?(g|n)$/i})

范围/模糊查询

db.user.find({查询条件}，{筛选字段})
"""
MySQL:
	关键字 like
	关键符号
		%	匹配任意个数的任意字符
		_	匹配单个个数的任意字符
		
MongoDB:
	通过句点符
	$all
"""

# 1.查看有dancing爱好的人
select * from db1.user where hobbies='dancing';
db.user.find({"hobbies":'dancing'})
# 2.查看既有dancing爱好又有tea爱好的人
select * from db1.user where hobbies='dancing' and hobbies='tea';
db.user.find({'hobbies':{"$all":['dancing','tea']}})
# 3.查看第4个爱好为tea的人(点索引)
select * from db1.user where hobbies.3='tea';
db.user.find({'hobbies.3':'tea'})
# 4.查看所有人最后两个爱好
db.user.find({},{'_id':0,'name':1,'hobbies':{'$slice':-2}})
# 5.查看所有人前面两个爱好
db.user.find({},{'_id':0,'name':1,'hobbies':{"$slice":2}})
# 6.查看所有人中间的第2个到第3个爱好
db.user.find({},{'_id':0,'name':1,'hobbies':{"$slice":[1,2]}})
# 7.查询国家是China的数据(点键)
db.user.find({'addr.country':'China'})

排序

"""
MySQL:
	关键字			order by
	升序  降序		asc  desc
MongoDB:
	关键字			sort
	升序 降序		1  -1
"""
# 排序:1代表升序,-1代表降序
# select * from db.user order by age asc;
db.user.find().sort({"age":1})
# select * from db.user order by age desc,_id asc;
db.user.find().sort({"age":-1,"_id":1})

分页(限制查询条数)

"""
MySQL:
	关键字		limit
	分页		5,5
MongoDB:
	关键字		limit
	分页		skip
"""
# 分页:limit代表取多少个document,skip代表跳过前多少个document
# select * from db.user limit 2,1 # 从第二个开始，选择一个
db.user.find().sort({"age":1}).limit(1).skip(2)

杂项补充

# 获取数量
# 统计年龄大于30岁的数据条数
db.user.find({"age":{"$gt":30}}).count()
或者db.user.count({"age":{"$gt":30}})

# 1.{'key':null} 匹配key的值为null或者没有这个key的数据
	db.t2.insert({'a':10,'b':111})
	db.t2.insert({'a':20})
	db.t2.insert({'b':null})
    
    db.t2.find({"b":null})
	
	{ "_id" : ObjectId("5a5cc2a7c1b4645aad959e5a"), "a" : 20 }
	{ "_id" : ObjectId("5a5cc2a8c1b4645aad959e5b"), "b" : null }
    
# 2.查找所有
db.user.find() #等同于db.user.find({})

# 3.查找一个,与find用法一致,只是只取匹配成功的第一个
db.user.findOne({"_id":{"$gt":3}})

MongoDB语句补充

# 查询平均工资最高的前两个部门

# SQL语句
select post,avg(salary) as avg_salary from db.emp group by post order by avg_salary desc limit 2;
# MongoDB语句
db.emp.aggregate(
{'$group':{'_id':'$post','avg_salary':{'$avg':'$salary'}}},
{'$sort':{'avg_salary':-1}},
{'$limit':2}
)

# 随机抽取
'''
python模块random
	random.choice([11,22,33,44,55,66])
'''
db.user.aggregate(
				[ { $sample: { size: 3 } } ]
				)

前期代码运行可能会报错

1.py:41报错
    有可能是因为你已经提前创建了emp集合并且有一些数据导致
    解决方案:将emp集合删除再次运行即可
    
2.authentication failed
	就是由于账户管理和权限没有配置好导致
    解决方案:设置对应的账户与权限
   
3.No module named pymongo
	缺少操作mongodb的python模块pymongo
    解决方案:pip3 install pymongo

课堂练习

'''先尝试用sql(SQL)语句完成再用mongodb(NoSQL)语句完成'''
1. 查询岗位名以及各岗位内的员工姓名
select post,group_concat(name) as names from db.emp group by post;
db.emp.aggregate(
    {"$group":{"_id":"$post","names":{"$push":"$name"}}})

2. 查询岗位名以及各岗位内包含的员工个数
select post,count(id) from db.emp group by post;
db.emp.aggregate(
    {"$group":{"_id":"$post","员工个数":{"$sum":1}}})
3. 查询公司内男员工和女员工的个数
select sex,count(id) from db.emp group by sex;
db.emp.aggregate(
    {"$group":{"_id":"$sex","员工个数":{"$sum":1}}})

4. 查询岗位名以及各岗位的平均薪资、最高薪资、最低薪资
select post,avg(salary),max(salary),min(salary) from db.emp group by post;
db.emp.aggregate(
    {"$group":{
        "_id":"$post",
        "平均薪资":{"$avg":"$salary"},
        "最高薪资":{"$max":"$salary"},
        "最低薪资":{"$min":'$salary'}
    }
    })

5. 查询男员工与男员工的平均薪资，女员工与女员工的平均薪资
select sex,avg(salary) from db.emp group by sex;
db.emp.aggregate(
    {"$group":{"_id":"$sex","平均薪资":{"$avg":'$salary'}}})

6. 查询各岗位内包含的员工个数小于2的岗位名、岗位内包含员工名字、个数
select post,group_concat(name),count(id) from db.emp group by post having count(id) < 2;
db.emp.aggregate(
    {"$group":{"_id":"$post",
               "员工姓名":{"$push":"$name"},
               '员工个数':{"$sum":1}
              }},
	{'$match':{'员工个数':{"$lt":2}}}
)

7. 查询各岗位平均薪资大于10000的岗位名、平均工资
select post,avg(salary) from db.emp group by post haing avg(salary) > 10000;
db.emp.aggregate(
	{"$group":{"_id":"$post","平均薪资":{"$avg":"$salary"}}},
    {"$match":{"平均薪资":{"$gt":10000}}}
)

8. 查询各岗位平均薪资大于10000且小于20000的岗位名、平均工资
select post,avg(salary) from db.emp group by post haing avg(salary) > 10000 and avg(salary) < 20000;
db.emp.aggregate(
	{"$group":{"_id":"$post","平均薪资":{"$avg":"$salary"}}},
    {"$match":{"平均薪资":{"$gt":10000,"$lt":20000}}}
)

9. 查询所有员工信息，先按照age升序排序，如果age相同则按照hire_date降序排序
select * from db.emp order by age asc,hire_date desc;
db.emp.find({}).sort({"age":1,"hire_date":-1})

10. 查询各岗位平均薪资大于10000的岗位名、平均工资,结果按平均薪资升序排列
select post,avg(salary) from db.emp group by post having avg(salary) > 10000 order by avg(salary) asc;
db.emp.aggregate(
	{"$group":{"_id":"$post","平均薪资":{"$avg":"$salary"}}},
    {"$match":{"平均薪资":{"$gt":10000}}},
    {"$sort":{'平均薪资':1}}
)

11. 查询各岗位平均薪资大于10000的岗位名、平均工资,结果按平均薪资降序排列,取前1个
select post,avg(salary) from db.emp group by post having avg(salary) > 10000 order by avg(salary) desc limit 1;
db.emp.aggregate(
	{"$group":{"_id":"$post","平均薪资":{"$avg":"$salary"}}},
    {"$match":{"平均薪资":{"$gt":10000}}},
    {"$sort":{'平均薪资':-1}},
    {"$limit":1}
)

聚合与分组

# 分组
# select post from db.emp group by post;
db.emp.aggregate({'$group':{'_id':'$post'}})
# select avg(salary) as '平均薪资' from db.emp group by post;
db.emp.aggregate({'$group':{'_id':'$post','平均薪资':{'$avg':'$salary'}}})
# select * from db.emp where id >3 group by post having avg(salary) > 10000;
db.emp.aggregate({'$match':{'_id':{"$gt":3}}},
                  {'$group':{'_id':'$post','avg_salary':{'$avg':'$salary'}}},
                   {'$match':{'avg_salary':{'$gt':10000}}}
                   )

{"$group":{"_id":'$分组字段',"新的字段名":聚合操作符}}
# 1.将分组字段传给$group函数的_id字段即可
{"$group":{"_id":'$sex'}} # 按照性别分组
{"$group":{"_id":'$post'}} # 按照职位分组
{"$group":{"_id":{"state":"$state",'city':"$city"}}} 
# 按照多个字段分组

# 2.分组后聚合得结果,类似于sql中聚合函数的聚合操作符：$sum、$avg、$max、$min、$first、$last
	# 例1. select post,max(salary) from db1.emp group by post;
    db.emp.aggregate({"$group":{'_id':'$post','max_salary':{"$max":"$salary"}}})
    # 例2. 去每个部门最大薪资与最低薪资
    db.emp.aggregate({"$group":
                      {
                          "_id":"$post",
                          "max_salary":{"$max":"$salary"},
                          "min_salary":{"$min":"$salary"}
                      }
                     })
    # 例3.如果字段是排序后的，那么$first,$last会很有用,比用$max和$min效率高
    db.emp.aggregate({"$group":{"_id":"$post","first_id":{"$first":"$_id"}}})
    # 例4：求每个部门的总工资
    db.emp.aggregate({"$group":{"_id":"$post","count":
    {"$first":"$_id"}}})
    # 例5:求每个部门的人数
    db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":1}}})

{"$project":{"要保留的字段名":1,'要去掉的字段名':0,"新增的字段名":"表达式"}}
# 1.select name,post,(age+1) as nem_age from db1.emp;
db.emp.aggregate(
    {"$project":{
        "name":1,
        "post":1,
        "new_age":{"$add":["$age":1]}
    }
})

# 2.表达式之数学表达式
{"$add":[expr1,expr2,expr3,...,exprN]} # 相加
{"$subtract":[expr1,expr2]} # 第一个减第二个
{"$multiply":[expr1,expr2,...,exprN]} # 相乘
{"$divide":[expr1,expr2]} # 第一个表达式除第二个表达式的商作为结果
{"$mod":[expr1,expr2]} # 第一个表达式除第二个表达式的余数作为结果

# 3.表达式之日期表达式：$year,$month,$week,$dayOfMonth,$dayOfWeek,$dayOfYear,$hour,$minute,$second
	# 例如 select name,date_format("%Y") as hire_year from db1.emp;
    db.emp.aggregate(
    {"$project":{
        "name":1,
        "hire_year":
        {"$year":"$hire_date"}
    }}
    )
	# 例如查看每个员工工作多长时间
    db.emp.aggregate(
    {"$project":{
        "name":1,
        "hire_period":{
            "$subtract":[
                {"$year":new Date()},
                {"$year":"$hire_date"}
            ]
        }}}
    )

# 4.字符串表达式
{"$substr":[字符串/$值为字符串的字段名,起始位置,截取几个字符]}
{"$concat":[expr1,expr2,...,exprN]} # 指定的表达式或字符串连接在一起返回，只支持字符串拼接
{"$toLower":expr}
{"$toUpper":expr}
db.emp.aggregate({"$project":{"NAME":{"$toUpper":"$name"}}})

pymongo模块

能够支持使用python代码操作mongodb数据库

1.下载
	pip3 install pymongo
2.导入
	import pymongo
    from pymongo import MongoClient
    
3.基本使用

可视化软件

网址:https://robomongo.org/
我们之前学习使用的Navicat其实也可以连接mongodb并操作

下载一步步点击安装即可

点击右上角连接按钮
	输入对应的库和账户信息连接即可

作业

1.自己独立完成数据库的安装并创建一个管理员账户三个普通用户账户
	三个普通账户各自权限都不一致(自定义)
2.将所有的查询操作自己手动来一遍
	最好是MySQL与MongoDB都自己写(不要看笔记)
3.将今日笔记抄写一遍
4.将分组相关的练习题独立完成
	每个部门最大薪资与最低薪资
    求每个部门的总工资
    求每个部门的人数
    查询岗位名以及各岗位内的员工姓名
    
5.将上述11道练习题脱稿用MySQL和MongoDB分别实现
# 上述两道题每个人操作完成后截图放到一个文档里面打包发送到群里  
6.远程控制电脑软件
	向日葵

可视化软件

网址:https://robomongo.org/
我们之前学习使用的Navicat其实也可以连接mongodb并操作

下载一步步点击安装即可

点击右上角连接按钮
	输入对应的库和账户信息连接即可

作业

1.自己独立完成数据库的安装并创建一个管理员账户三个普通用户账户
	三个普通账户各自权限都不一致(自定义)
2.将所有的查询操作自己手动来一遍
	最好是MySQL与MongoDB都自己写(不要看笔记)
3.将今日笔记抄写一遍
4.将分组相关的练习题独立完成
	每个部门最大薪资与最低薪资
    求每个部门的总工资
    求每个部门的人数
    查询岗位名以及各岗位内的员工姓名
    
5.将上述11道练习题脱稿用MySQL和MongoDB分别实现
# 上述两道题每个人操作完成后截图放到一个文档里面打包发送到群里  
6.远程控制电脑软件
	向日葵
SWZHENG97
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mongodb分析语句
weixin_39388918的博客
08-22 196
优化方向：索引 （1）如果包含的字段在复合索引里，可以把单字段索引删除 （2）复合索引的字段优先级顺序如下： 短语字段>排序索引>范围索引 （3）即：???_1_sort_1_time1 如果复合索引全为短语，则辨识度高的（重复的少）在最左边，遵循最左原则，与mysql一致 （4）复合索引满足查询的即可，不需要每个字段都加上去，不然还是全表扫描 主要看： winningPlan，stage=FETCH+IXSCAN，即可 更佳的优化这里不叙述了。。。 ...
MongoDB查询语句简要分析
京东放养的爬虫
06-06 1524
find() 语句 启动MongoDB服务，因为mongoDB并不随系统一起启动，可能以下命令运行后会等一小段的时间才会启动完毕。 sudo service mongodb start 进入MongoDB命令行操作界面，在命令行中敲exit可以退出 mongo find() 用法：db.COLLECTION_NAME.find() > use post #创建post数
MongoDB聚合框架：强大的数据处理与分析工具
最新发布
silenceallat的博客
03-28 697
MongoDB聚合框架提供了强大的数据处理与分析功能，通过一系列管道操作符如`$match`、`$group`、`$sort`和`$project`等，可以实现数据的过滤、分组、排序和投影等任务。高级管道操作符如`$lookup`、`$limit`和`$replaceRoot`等，能执行更复杂的数据转换和分析。掌握这些操作符和技巧，可以高效地进行MongoDB的数据处理和分析。
mongo基础语句全解析
weixin_44723544的博客
06-28 1034
MongoDB概念解析 SQL术语/概念 MongoDB术语/概念 解释/说明 database database 数据库 table collection 数据库表/集合 row documen...
MongoDB数据转移到Mysql库进行数据分析
R28_11的专栏
12-16 3990
最近有一个调优的项目设计到MongoDB数据转移到Mysql库进行数据分析。 以下是利用kettle对数据的转换的介绍： 1：MongoDb的查询：    主要是基于json格式：具体的查询可以见连接MonGoDb的查询语句。   数据集是   由于带有时间戳timestamp,可以在kettle中基于时间戳对其增量读取。 2：kettle对于这种非关系型的数据库的设置主要是利用b
mongo网页版查询常用语句
weixin_30438813的博客
04-04 106
{ "mkt.code":{"$in": ["1001","1002","1003","1005","1055","1012"]} } 4.包含或不包含 $in或$nin 模糊查询如下： { "name.szh":/中国/ } { "idxcd": {"$exists":true} "secu" : { "$regex" : "...
go-mysql-mongodb:将MySQL数据同步到MongoDB
05-23
go-mysql-mongodb是一项将MySQL数据自动同步到MongoDB的服务。 它首先使用mysqldump来获取原始数据，然后与binlog增量同步数据。 安装 安装Go（ ）并设置您的 go get github.com/WangXiangUSTC/go-mysql-mongodb ...
java-spring-boot-mongodb-starter：MongoDB博客文章：带有Java，Spring Boot和MongoDB的REST API
02-06
快速入门Java＆MongoDB项目 支持的版本： Java 8至15 Spring启动2.4.2 MongoDB 4.4.3 MongoDB Java驱动程序4.1.1 Maven 3.6.3 摇摇3.0.0 MongoDB地图集 在上开始使用免费层集群。 阅读此博客文章：。 您将...
aedes-persistence-mongodb:MongoDB对伊蚊的持久性
04-29
mongoOptions ：传递给MongoDB驱动程序的其他选项（请参阅node-mongodb-native ） ttl ：用于设置集合中存储的文档的ttl（生存时间） packets ：可以是一个整数值，以秒为单位指定所有数据包集合的ttl，或者是一
spring-boot-starter-data-mongodb-2.2.4.RELEASE.jar
02-27
java运行依赖jar包
logstash-input-mongodb离线包
04-09
解压后使用，版本：logstash-input-mongodb-0.4.1 logstash离线包安装命令： Windows：logstash-plugin install file:///D:/logstash-7.5.0/logstash-input-mongodb/logstash-input-mongodb-0.4.1.zip Linux：...
9.MongoDB之explain(执行计划分析)
mijichui2153的博客
04-15 1万+
对executionStats返回逐层分析 第一层，executionTimeMillis 最为直观explain返回值是executionTimeMillis值，指的是我们这条语句的执行时间，这个值当然是希望越少越好。 其中有3个executionTimeMillis，分别是： executionStats.executionTimeMillis 该query的整体查询时间。 executionStats.executionStages.exec...
arthas + mongo慢日志排查接口性能问题
u012772803的博客
12-11 575
问题描述 线上生产环境某个接口，调用一次需要2s才能返回数据，严重影响客户端体验 排查过程 1. arthas 定位接口请求耗时 下载安装arthas 启动arthas 执行命令：./as.sh 选择对应的进程号 对应的序号 跟踪trace 在arthas命令框中执行命令：trace 按TAB键，控台会将报名给列出来 选择指定要跟踪的接口入口方法 一致追踪下去，知道能定位主要耗时在哪里，耗时最高的方法会已红色进行标注 从图中我们可以看到，这个耗时最高的地方是查询mongo arthas 详细使用方
mongodb性能调试基本技巧
omage的专栏
05-27 1030
1. 判断哪些是慢查询？    mongodb通过profile来实时的获取性能较慢的查询，设置profile命令如下   db.runCommand { profile: 1, slowms: 200 } 表示开启profile,记录大于200毫秒的操作 profile值有以下含义 -1 无变化，返回当前profile值 0
mongodb查询大全mongo语句
热门推荐
qq_41853447的博客
09-11 5万+
mongodb查询大全mongo语句 一、前言 虽然这些语句在开发当中不会使用，因为springdataMongoDB封装的非常完美了。但是这里的语句思想和关系型数据库有些区别，所以需要拿出来详细的讲解一下。因为原生的语句没有搞明白，后面使用springdataMongoDB拼接条件查询的时候心里没数，不知道该怎么去写。现在大多数教程讲的非常详细，分初级和高级，但是即使是高级，有很多经常使用到的语句依然没有讲到，这里还是很有必要去总结一下。 mongodb是非关系型数据库，也就是nosql。在使用起来是非常
MongoDB语句总结
ppjsyw的博客
02-24 6252
MongoDBTemplet和语句 查询(find) 1、查询所有结果 数据库:select * from 表名; MongoDb: db.集合名.find();或者db.getCollection("集合名").find(); 2、查询指定键 数据库 ：select 字段名1,字段名2 from 表名 MongoDB：db.集合名.find({}, {"键名1": 1, "键名2": 1}) 3、 ...
mongodb 数据分析
Henry_Wu001的专栏
09-15 1240
正常一天 1440个，超过则应算 2880个;Mongodb 文件存储之 GridFs,如果允许最大一天离线1小时,即少60个;
mongodb查询语句效率分析
wzj_whut的专栏
12-23 4455
准备工作 安装最新版的mongodb. 安装免费的图形客户端Robo 3T 在数据库local下创建一个名为test的collection 创建索引db.test.createIndex( { a: -1, b:-1 }, {name:&quot;ab&quot;}) 准备一些数据 {_id:1, a:1, b:2} {_id:2, a:1, b:2} {_id:3, a:1, b:3} {_id:4, a:1,...
spring-boot-starter-data-mongodb 版本
07-21
spring-boot-starter-data-mongodb的版本可以根据你的项目的Spring Boot版本来确定。一般来说，你可以在项目的pom.xml文件中查找spring-boot-starter-data-mongodb的依赖项，并查看其版本号。例如： ```xml ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值