Mongodb使用基础知识:
一、简介
1.mongodb是什么?
1)MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。
MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。
2)MongoDB 将数据存储为一个文档,数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档,数组及文档数组。它是文档型NosQL数据库
3)组成:文档(document)——》集合(clooecton)——》数据库(database)
2. 什么是NoSQL?
NoSQL(NoSQL = Not Only SQL ),意即"不仅仅是SQL"。
NoSQL,指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写,是对不同于传统的关系型数据库的数据库管理系统的统称。
NoSQL用于超大规模数据的存储。(例如谷歌或Facebook每天为他们的用户收集万亿比特的数据)。这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。
3.为什么使用NoSQL ?
今天我们可以通过第三方平台(如:Google,Facebook等)可以很容易的访问和抓取数据。用户的个人信息,社交网络,地理位置,用户生成的数据和用户操作日志已经成倍的增加。我们如果要对这些用户数据进行挖掘,那SQL数据库已经不适合这些应用了, NoSQL数据库的发展也却能很好的处理这些大的数据。
参考链接:https://blog.csdn.net/hsd2012/article/details/51279472
另外:
“_id”:每一个文档都有一个特殊的键“_id”,在所属集合中唯 一。
自带JavaScript shell,用于管理MongoDB的实例或数据操作。
文档:“键:值”
键:字符串(键不能含 \0空字符 $)
值:多种不同数据类型,(整数、字符串、文档、)
区分:区分类型,区分大小写。
注:文档不能有重复的键。文档中的键值对是有序的。
集合:一组文档,可以看作是一个拥有动态模式(dynamic schema)的表。
动态模式:一个集合中的文档可以是各种各样的。
{“greeting”:”Hello, world”}
{“foo”:5}
值类型不同,且键也完全不同的两个文档,可以放在同一个集合中。
问:还有必要使用多个集合吗?
查询速度、数据更集中、创建索引。
所以,一个集合中只放入一种类型的文档。尽管mongodb没有强制要求。
命名:不能包含 (“”、\0、system开头、$、)
数据库:多个集合组成数据库
命名:不能是空字符串(“”)
不得含有 /\.”*<>:|?$(基本上只能使用ASCII中的字母和数字)
库名区分大小写
库名最多为64字节。
保留库名(admin local config)
3)mongodb 客户端:NoSQL Manager for MongoDB 使用实操
(1)mongodb查询:find pretty findOne
见“电子书”and or >gt >=gte <lt <=lte != ne limit skip sort count
注: skip和limit, 当两者一起使用的时候, 不管其位置顺序,默认先skip,再limit。
(2)) 获取当前表的索引
Db.postjson.getIndexes();
加索引的代价:每次写操作时会耗费多的时间,占用更多的磁盘空间
通常一个特定集合,不建议有两个以上的索引。
(3) 查询指定字段 https://www.cnblogs.com/wuxiang/p/5553658.html
二、案例介绍:华住价格推送项目
1)项目简介
2)python + mysql + mongodb
3)纠结过的点
1. 五个脚本同时写一个EXCEL表的不同sheet页,会有问题吗?
2. 定时任务运行,自动生成EXCEL
3. 汇总信息的生成为什么要和明细信息一起,另起一个脚本读EXCEL汇总不好吗?
4. 如果我的脚本执行过程当中,报数据库连不上的错误了,咋办?
5. mongodb存的带时区的时间为啥与我们的时间有8小时的时差。
6.从mongodb中取数据时发何利用索引,正确的思路是什么?121万条数据。
7.写伪代码的重要性,日志的重要性。
8.与数据库的交互越少越好,一次性取出来,python脚本来处理,性能好些。
9.python查询mongodb语句参数化的问题。Json对象等同于python代码,直接参数化即可。里面不是字符串是个json对象。
10 这种like '% %' 这里面的关键字的占位符这样写对不对?
%%%s%%% 见图片
11 不足的:关于抽象。关于异常。排错时,分解分解再分解,面向对象,找对象。
12. 多行注释报语法错误:原因:多行注释也要注意缩进,python对缩进要求严格。注释符的缩进Ok了,就不报错了。
13. 特别想知道mysql\mongodb\kafka\redis的区别和使用场景 。
上次讲的:查询、条件操作符 (大于、小于、大于等于、小于等于、不等于,$type)
$type:$type操作符是基于BSON类型来检索集合中匹配的数据类型,并返回结果。
BSON类型:
https://blog.csdn.net/leshami/article/details/52668870
https://www.runoob.com/mongodb/mongodb-operators-type.html
聚合:aggregate 管道聚合:pipeline aggregate
1. group by
db.postjson.aggregate([{$group:{_id:"$bwHotelID",reviewcnt:{$sum:1}}}]);
这里的$sum:1 相当于count(*) 要对某个字段进行sum 应写成 $sum : “$字段名”
2. group by + where
db.postjson.aggregate([{$group:{_id:"$bwHotelID",reviewcnt:{$sum:1}}},{$match:{bwHotelID:284500}}]);
db.postjson.aggregate([{$group:{_id:"$bwHotelID",reviewcnt:{$sum:1}}},{$match:{_id:160733}}]);
db.postjson.aggregate([{$match:{bwHotelID:160733}}]);
这里的$match就相当于sql语法中的where
3. group by + 字段筛选
db.postjson.aggregate([{$group:{_id:"$bwHotelID",reviewcnt:{$sum:1}}},{$project:{_id:0,reviewcnt:1}}]);
db.postjson.aggregate([{$group:{_id:"$bwHotelID",reviewcnt:{$sum:1}}},{$project:{_id:0,reviewcnt:1}},{$match:{reviewcnt:4}}]);
db.postjson.aggregate([{$group:{_id:"$bwHotelID",reviewcnt:{$sum:1}}},{$project:{_id:0,reviewcnt:1}},{$match:{reviewcnt:{$ne:4}}}]);
条件操作符在match中仍然可以用。 $gt $lt $gte $lte $ne
4. group by + where + 字段筛选 + having
4. sum
5. avge
6. min
7. max
8. push 在结果文档中插入值至一个数组
9. addToSet
10. first
11. last
管道聚合: 语法:db.collection.aggregate(pipeline, options)
1) project 字段筛选
2) match where
3) limit limit
4) skip skip
5) unwind
6) group group by $group语法: { $group: { _id: <expression>, <field1>: { <accumulator1> : <expression1> }, ... } }
7) sort order by
8) geoNear
https://blog.csdn.net/congcong68/article/details/51619882
https://blog.csdn.net/congcong68/article/details/51620040
注:group: 如果_id为null 相当于select count(*) from table