一、NoSQL简介
NoSQL(NoSQL = Not Only SQL),意即"不仅仅是SQL"
1.1 什么是NoSQL?
NoSQL,指的是非关系型的数据库;NoSQL有时也称作Not Only SQL的缩写,是对不同于传统的关系型数据库的数据库管理系统的统称。
NoSQL用于超大规模数据的存储;例如谷歌或Facebook每天为他们的用户收集万亿比特的数据;这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。
1.2 为什么使用NoSQL?
我们可以通过第三方平台(如:Google,Facebook等)可以很容易的访问和抓取数据。用户的个人信息,社交网络,地理位置,用户生成的数据和用户操作日志已经成倍的增加。我们如果要对这些用户数据进行挖掘,那SQL数据库已经不适合这些应用了, NoSQL数据库的发展能很好的处理这些大的数据。
1.3 NoSQL数据库分类
类型 | 部分代表 | 特点 |
---|---|---|
列存储 | Hbase;Cassandra;Hypertable | 按列存储数据;最大的特点是方便存储结构化和半结构化数据,方便做数据压缩,对针对某一列或者某几列的查询有非常大的IO优势 |
文档存储 | MongoDB;CouchDB | 文档存储一般用类似json的格式存储,存储的内容是文档型的;这样也就有机会对某些字段建立索引,实现关系数据库的某些功能 |
key-value存储 | Tokyo Cabinet / Tyrant;Berkeley DB;MemcacheDB;Redis | 可以通过key快速查询到其value;一般来说,存储不管value的格式,照单全收(Redis包含了其他功能) |
图存储 | Neo4J;FlockDB | 图形关系的最佳存储;使用传统关系数据库来解决的话性能低下,而且设计使用不方便 |
对象存储 | db4o;Versant | 通过类似面向对象语言的语法操作数据库,通过对象的方式存取数据 |
xml数据库 | Berkeley;DBXML;BaseX | 高效的存储XML数据,并支持XML的内部查询语法,比如XQuery,Xpath |
二、MongoDB简介
2.1 什么是MongoDB?
- MongoDB是一个NoSQL的数据库
- MongoDB是一款文档型数据库
- 数据库指的就是一个存储数据的仓库
数据库可以使我们完成对数据的持久化的操作
- MongoDB数据库中存储的数据的基本单位就是文档
MongoDB中存储的就是文档,所谓文档其实就是一个“JSON”
- MongoDB中的“JSON”我们称为BSON,比普通的JSON的功能要更加的强大
- MongoDB数据库使用的是JavaScript进行操作的,在MongoDB含有一个对ES标准实现的引擎
在MongoDB中所有ES中的语法中都可以使用
2.2 主要特点
- MongoDB是一个面向文档存储的数据库,操作起来比较简单和容易
- 你可以在MongoDB记录中设置任何属性的索引来实现更快的排序
- 通过本地或者网络创建数据镜像,这使得MongoDB有更强的扩展性
- Mongo支持丰富的查询表达式;查询指令使用JSON形式的标记,可轻易查询文档中内嵌的对象及数组
- MongoDb使用update()命令可以实现替换完成的文档(数据)或者一些指定的数据字段
- Mongodb中的Map/reduce主要是用来对数据进行批量处理和聚合操作
- Map和reduce;Map函数调用emit(key, value)遍历集合中所有的记录,将key与value传给Reduce函数进行处理
- Map函数和Reduce函数是使用Javascript编写的,并可以通过db.runCommand或mapreduce命令来执行MapReduce操作
- GridFS是MongoDB中的一个内置功能,可以用于存放大量小文件
- MongoDB允许在服务端执行脚本,可以用Javascript编写某个函数,直接在服务端执行,也可以把函数的定义存储在服务端,下次直接调用即可
- MongoDB支持各种编程语言:RUBY,PYTHON,JAVA,C++,PHP,C#等多种语言
- MongoDB安装简单
2.3 MongoDB安装及下载
Windows下安装MongoDB
Linux下安装MongoDB
三、MongoDB概念解析
SQL术语/概念 | MongoDB术语/概念 | 解释/说明 |
---|---|---|
database | database | 数据库 |
table | collection | 数据库表/集合 |
row | document | 数据记录行/文档 |
column | field | 数据字段/域 |
index | index | 索引 |
table joins | 表连接/MongoDB不支持 | |
primary key | primary key | 主键/MongoDB自动将_id字段设置为主键 |
通过下图实例,可以更直观的了解Mongo中的一些概念
3.1 数据库
一个mongodb中可以建立多个数据库
MongoDB的默认数据库为"db",该数据库存储在data目录中
MongoDB的单个实例可以容纳多个独立的数据库,每一个都有自己的集合和权限,不同的数据库也放置在不同的文件中
数据库也通过名字来标识;数据库名可以是满足以下条件的任意UTF-8字符串
- 不能是空字符串("")
- 不能含有
''(空格)
,.
,$
,/
,\
和\0(空字符)
- 应全部小写
- 最多64字节
有一些数据库名是保留的,可以直接访问这些有特殊作用的数据库
- admin:从权限的角度来看,这是“root”数据库;要是将一个用户添加到这个数据库,这个用户自动继承所有数据库的权限;一些特定的服务器端命令也只能从这个数据库运行,比如列出所有的数据库或者关闭服务器
- local:这个数据永远不会被复制,可以用来存储于本地单台服务器的任意集合
- config:当Mongo用于分片设置时,config数据库在内部使用,用于保存分片的相关信息
3.2 文档
文档是一组键值对(key-value)(即BSON)
MongoDB的文档不需要设置相同的字段,并且相同的字段不需要相同的数据类型,这与关系型数据库有很大的区别,也是MongoDB非常突出的特点
一个简单的文档例子:{"site":"www.java.com","name":"java课程"}
下表列出了RDBMS与MongoDB对应的术语:
RDBMS | MongoDB |
---|---|
数据库 | 数据库 |
表格 | 集合 |
行 | 文档 |
列 | 字段 |
表联合 | 嵌入文档 |
主键 | 主键(MongoDB提供了key为_id) |
需要注意的是:
- 文档中的键/值对是有序的
- 文档中的值不仅可以是在双引号里面的字符串,还可以是其中几种数据类型(甚至可以是整个嵌入的文档)
- MongoDB区分类型和大小写
- MongoDB的文档不能有重复的键
- 文档的键是字符串;除了少数例外情况,键可以使用任意UTF-8字符
文档键命名规范:
- 键不能含有
\0(空字符)
;这个字符用来表示键的结尾 .
和$
有特别的意义,只能在特定环境下才能使用- 以下划线"_"开头的键是保留的(不是严格要求的)
3.3 集合
集合就是MongoDB文档组,类似于RDBMS(关系数据库管理系统:Relational Database Management System)中的表格
集合存在于数据库中,集合没有固定的结构,这意味着在集合中可以插入不同格式和类型的数据,但通常情况下我们插入集合的数据都会有一定的关联性
当第一个文档插入时,集合就会被创建
合法的集合名:
-
集合名不能是空字符串("")
-
集合名不能含有
\0字符(空字符)
,这个字符表示集合名的结尾 -
集合名不能以
"system."
开头,这是为系统集合保留的前缀 -
用户创建的集合名字不能含有保留字符
有些驱动程序的确支持在集合名里面包含,这是因为某些系统生成的集合中包含该字符;除非要访问这种系统创建的集合,否则千万不要在名字里出现
$
3.3.1 capped collections
Capped collections就是固定大小的collection
它有很高的性能以及队列过期的特性(过期按照插入的顺序)
Capped collections是高性能自动的维护对象的插入顺序;collection的数据存储空间值是提前分配
Capped collections可以按照文档的插入顺序保存到集合中,而且这些文档在磁盘上存放位置也是按照插入顺序来保存的,所以当我们更新Capped collections中文档的时候,更新后的文档不可以超过之前文档的大小,这样话就可以确保所有文档在磁盘上的位置一直保持不变
db.createCollection("coll", {capped:true, size:100000})
- 在 capped collection中,能添加新的对象
- 能进行更新,对apped collection最大存储为1e9(1X109)个字节象不会增加存储空间,如果增加,更新就会失败
- 使用 Capped Collection不能删除一个文档,可以使用drop()方法删除collection所有的行
- 删除之后,你必须显式的重新创建这个collection
3.3.2 元数据
数据库的信息是存储在集合中;它们使用了系统的命名空间:dbname.system.*
在MongoDB数据库中命名空间<dbname>.system.*
是包含多种系统信息的特殊集合(Collection),如下:
集合命名空间 | 描述 |
---|---|
dbname.system.namespaces | 列出所有名字空间 |
dbname.system.indexes | 列出所有索引 |
dbname.system.profile | 包含数据库概要(profile)信息 |
dbname.system.users | 列出所有可访问数据库的用户 |
dbname.local.sources | 包含复制对端(slave)的服务器信息和状态 |
对于修改系统集合中的对象有如下限制:
- 在
{{system.indexes}}
插入数据,可以创建索引;但除此之外该表信息是不可变的(特殊的drop index命令将自动更新相关信息) {{system.users}}
是可修改的{{system.profile}}
是可删除的
3.3.3 MongoDB数据类型
下表为MongoDB中常用的几种数据类型
数据类型 | 描述 |
---|---|
String | 字符串;存储数据常用的数据类型;在MongoDB中,UTF-8编码的字符串才是合法的 |
Integer | 整型数值;用于存储数值;根据所采用的服务器,可分为32位或64位 |
Boolean | 布尔值;用于存储布尔值(true/false) |
Double | 双精度浮点值;用于存储浮点值 |
Min/Max keys | 将一个值与BSON(二进制的JSON)元素的最低值和最高值相对比 |
Array | 用于将数组或列表或多个值存储为一个键 |
Timestamp | 时间戳;记录文档修改或添加的具体时间 |
Object | 用于内嵌文档 |
Null | 用于创建空值 |
Symbol | 符号;该数据类型基本上等同于字符串类型,但不同的是,它一般用于采用特殊符号类型的语言 |
Date | 日期时间;用UNIX时间格式来存储当前日期或时间;可以指定自己的日期时间:创建Date对象,传入年月日信息 |
Object ID | 对象ID;用于创建文档的ID |
Binary Data | 二进制数据;用于存储二进制数据 |
Code | 代码类型;用于在文档中存储JavaScript代码 |
Regular expression | 正则表达式类型;用于存储正则表达式 |
-
ObjectId
ObjectId类似唯一主键,可以很快的去生成和排序,包含12bytes,含义是:
· 前4个字节表示创建unix时间戳(格林尼治时间UTC时间,比北京时间晚8个小时)
· 紧接着的3个字节是机器标识码
· 之后的2个字节由进程id组成PID
· 最后的3个字节是随机数
MongoDB中存储的文档必须有一个
_id
键;这个键的值可以是任何类型的,默认是个ObjectId对象// 由于ObjectId中保存了创建的时间戳,所以不需要为文档保存时间戳字段,可以通过getTimestamp函数来获取文档的创建时间 var newObject = ObjectId() newObject.getTimpstamp() // 显示结果 ISODate(“2020-09-14T03:03:43Z") // ObjectId转为字符串 newObject.str // 显示结果 5f5edd8f5ebd29a953651b6a
-
字符串
BSON字符串都是UTF-8编码
-
时间戳
BSON有一个特殊的时间戳类型用于MongoDB内部使用,与普通的日期类型不相关;时间戳值是一个64位的值;其中:
- 前32位是一个time_t值(与Unix新纪元相差的秒数)
- 后32位是在某秒中操作的一个递增的序数
BSON时间戳类型主要用于MongoDB内部使用;在大多数情况下的应用开发中,可以使用BSON日期类型
-
日期
表示当前距离Unix新纪元(1970年1月1日)的毫秒数;日期类型是有符号的,负数表示1970年之前的日期
// 格林尼治时间 var mydate1 = new Date() mydate1 // 显示结果 ISODate(“2020-09-14T03:21:13.992Z") typeof mydate1 // 显示结果 Object // 格林尼治时间 var mydate2 = ISODate() mydate2 // 显示结果 ISODate(“2020-09-14T03:21:13.992Z") typeof mydate2 // 显示结果 Object
这样创建的日期是日期类型,可以使用JS中的Date类型的方法
返回一个时间类型的字符串
var mydate1str = mydate1.toString() mydate1str // 显示结果 Mon Sep 14 2020 11:21:13 GMT+0800 typeof mydate1str // 显示结果 string Date() // 显示结果 Mon Sep 14 2020 11:21:13 GMT+0800