1.Nosql和CAP原理
1.1 NoSQL数据库
NoSQL(NoSQL = Not Only SQL ),意即"不仅仅是SQL"。
在现代的计算系统上每天网络上都会产生庞大的数据量。
这些数据有很大一部分是由关系数据库管理系统(RDBMS)来处理。 1970年 E.F.Codd's提出的关系模型的论文 "A relational model of data for large shared data banks",这使得数据建模和应用程序编程更加简单。
通过应用实践证明,关系模型是非常适合于客户服务器编程,远远超出预期的利益,今天它是结构化数据存储在网络和商务应用的主导技术。
1.2 分布式系统和分布式计算
分布式系统(distributed system)由多台计算机和通信的软件组件通过计算机网络连接(本地网络或广域网)组成。分布式系统是建立在网络之上的软件系统。正是因为软件的特性,所以分布式系统具有高度的内聚性和透明性。因此,网络和分布式系统之间的区别更多的在于高层软件(特别是操作系统),而不是硬件。分布式系统可以应用在不同的平台上如:Pc、工作站、局域网和广域网上等。
分布式计算主要研究如何应用分布式系统进行计算,即把一组计算机通过网络相互连接组成分散系统,然后将需要处理的数据分散成多个部分,交由分散在系统内的计算机组同时计算再将结果最终合并得到最终结果。
与分布式计算相对的计算方式是集中式计算,其是指由一台或多台主计算机组成中心节点,数据集中存储在这个中心节点中,并且整个系统的所有业务单元都集中部署在这个中心节点上,系统的所有功能均能由其进行集中处理,其最大的特点就是部署结构简单。
早些年间,由于分布式技术还不成熟,计算机主要采用的是集中式计算的方法,通过大型的计算机主机进行数据的运算,然而随着计算机系统逐渐向微型化、网络化发展,传统的集中式处理不仅会导致成本攀升,也存在着较大的单点故障风险。为了规避风险、降低成本,互联网公司把研究方向转向了分布式计算。
分布式计算系统中的一个重要的优点是可靠性,可扩展性以及灵活性,其能灵活高效的处理数据,并将结果快捷返回给用户,很大程度上提升了效率,具体体现在以下方面:
- 可靠性(容错) :分布式计算系统中的一个重要的优点是可靠性。一台服务器的系统崩溃并不影响到其余的服务器。
- 可扩展性:在分布式计算系统可以根据需要增加更多的机器。
- 资源共享:共享数据是必不可少的应用,如银行,预订系统。
- 灵活性:由于该系统是非常灵活的,它很容易安装,实施和调试新的服务。
- 更快的速度:分布式计算系统可以有多台计算机的计算能力,使得它比其他系统有更快的处理速度。
- 开放系统:由于它是开放的系统,本地或者远程都可以访问到该服务。
- 更高的性能:相较于集中式计算机网络集群可以提供更高的性能(及更好的性价比)。
分布式计算系统中的一个不可忽视的缺点点是故障排除和诊断问题难,数据共享的安全性不高。主要体现在以下方面:
故障排除:故障排除和诊断问题。
软件:更少的软件支持是分布式计算系统的主要缺点,分布式计算一般需要集成多个软件
网络:网络基础设施的问题,包括:传输问题,高负载,信息丢失等。
安全性:开放系统的特性让分布式计算系统存在着数据的安全性和共享的风险等问题。
1.3 CAP原理
在计算机科学中, CAP定理(CAP theorem), 又被称作 布鲁尔定理(Brewer's theorem), 它指出对于一个分布式计算系统来说,不可能同时满足以下三点:
- 一致性(Consistency) (所有节点在同一时间具有相同的数据)
- 可用性(Availability) (保证每个请求不管成功或者失败都有响应)
- 分隔容忍(Partition tolerance) (系统中任意信息的丢失或失败不会影响系统的继续运作)
CAP理论的核心是:一个分布式系统不可能同时很好的满足一致性,可用性和分区容错性这三个需求,最多只能同时较好的满足两个。
因此,根据 CAP 原理将 NoSQL 数据库分成了满足 CA 原则、满足 CP 原则和满足 AP 原则三 大类:
- CA - 单点集群,满足一致性,可用性的系统,通常在可扩展性上不太强大。
- CP - 满足一致性,分区容忍性的系统,通常性能不是特别高。
- AP - 满足可用性,分区容忍性的系统,通常可能对一致性要求低一些。
2.mongDB安装和使用
2.1 简介
MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。
在高负载的情况下,添加更多的节点,可以保证服务器性能。
MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。
MongoDB 将数据存储为一个文档,数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档,数组及文档数组。
主要特点
- MongoDB 是一个面向文档存储的数据库,操作起来比较简单和容易。
- 你可以在MongoDB记录中设置任何属性的索引 (如:FirstName="Sameer",Address="8 Gandhi Road")来实现更快的排序。
- 你可以通过本地或者网络创建数据镜像,这使得MongoDB有更强的扩展性。
- 如果负载的增加(需要更多的存储空间和更强的处理能力) ,它可以分布在计算机网络中的其他节点上这就是所谓的分片。
- Mongo支持丰富的查询表达式。查询指令使用JSON形式的标记,可轻易查询文档中内嵌的对象及数组。
- MongoDb 使用update()命令可以实现替换完成的文档(数据)或者一些指定的数据字段 。
- Mongodb中的Map/reduce主要是用来对数据进行批量处理和聚合操作。
- Map和Reduce。Map函数调用emit(key,value)遍历集合中所有的记录,将key与value传给Reduce函数进行处理。
- Map函数和Reduce函数是使用Javascript编写的,并可以通过db.runCommand或mapreduce命令来执行MapReduce操作。
- GridFS是MongoDB中的一个内置功能,可以用于存放大量小文件。
- MongoDB允许在服务端执行脚本,可以用Javascript编写某个函数,直接在服务端执行,也可以把函数的定义存储在服务端,下次直接调用即可。
- MongoDB支持各种编程语言:RUBY,PYTHON,JAVA,C++,PHP,C#等多种语言。
- MongoDB安装简单。
MongoDB 工具
有几种可用于MongoDB的管理工具。
监控:
MongoDB提供了网络和系统监控工具Munin,它作为一个插件应用于MongoDB中。
GUI:
Mongo3 – Ruby写成。
Database Master — Windows的mongodb管理工具
RockMongo — 最好的PHP语言的MongoDB管理工具,轻量级, 支持多国语言.
MongCompass——mongoDB自带软件
2.2 windows下安装使用
下载地址:MongoDB Community Download | MongoDB
可以选择最新版,也可以选择较为稳定的4.0.28版,本机采用的是4.0.28版
-
MongoDB for Windows 64-bit 适合 64 位的 Windows Server 2008 R2, Windows 7 , 及最新版本的 Window 系统。
-
MongoDB for Windows 32-bit 适合 32 位的 Window 系统及最新的 Windows Vista。 32 位系统上 MongoDB 的数据库最大为 2GB。
-
MongoDB for Windows 64-bit Legacy 适合 64 位的 Windows Vista, Windows Server 2003, 及 Windows Server 2008 。
安装教程:Windows 平台安装 MongoDB | 菜鸟教程
1.按流程下载并安装
2.创建数据目录:根目录下/data/db
3.自配置:data下创建mongod.cfg并配置log地址,db地址,端口
{MongoDB安装路径}\mongod.exe --config "{mongod.cfg文件所在路径}" --install
4.运行服务器
5.连接mongDB
在命令窗口中运行 mongo.exe 命令即可连接上 MongoDB
FAQ问题解决
1.服务器找不到
解决方案:
sc delete MongoDB
删除服务器名在重装服务
https://www.jb51.net/article/178071.htm
https://www.jb51.net/article/234410.htm
window无法启动mongodb服务:系统找不到指定的文件错误的解决方法 - 走看看
2.中文乱码
2.3 linux下安装使用
下载地址:MongoDB Community Download | MongoDB
可以选择最新版,不同版本支持虚拟机版本不同,本机采用的是5.0.8版,unbutun版本是20.04
安装使用教程:Linux 平台安装 MongoDB | 菜鸟教程
1.拉取安装包并安装
2.创建配置目录
2.4 docker安装配置 (待更新)
3.mongDB管理工具说明
mongoDB的连接管理工具比较多,我就结合一些常见的工具进行演示和说明
3.1 navicate 15.0
navicate 15.0是支持连接mongoDB的,我们可以在如下界面进行操作
在连接中输入对应参数连接mongDB
3.2 Mongo3
gittee地址:mongo3: mongo 是一款超酷的 MongoDB 集群管理工具,它本身提供一个 web 控制台,让你可以像维护普通数据库一样维护 MongoDB (gitee.com)
3.3 Database Master
下载地址:Database Master (free version) download for PC (freedownloadmanager.org)
使用教程:REVOLUTION DATABASE MASTER 工具使用教程(RDBM )【绿茵吧FIFA教程】(1)_哔哩哔哩_bilibili