数据库基础概念学习

本文主要记录一些数据库基础概念，如关系型数据库和非关系型数据库

数据库

数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。

它的存储空间很大，可以存放百万条、千万条、上亿条数据。但是数据库并不是随意地将数据进行存放，是有一定的规则的，否则查询的效率会很低。当今世界是一个充满着数据的互联网世界，充斥着大量的数据。即这个互联网世界就是数据世界。数据的来源有很多，比如出行记录、消费记录、浏览的网页、发送的消息等等。除了文本类型的数据，图像、音乐、声音等都是数据。

在数据库的发展历史上，数据库先后经历了层次数据库、网状数据库和关系数据库等各个阶段的发展，数据库技术在各个方面的快速的发展。特别是关系型数据库已经成为目前数据库产品中最重要的一员。随着云计算的发展和大数据时代的到来，关系型数据库越来越无法满足需要，这主要是由于越来越多的半关系型和非关系型数据需要用数据库进行存储管理，以此同时，分布式技术等新技术的出现也对数据库的技术提出了新的要求，于是越来越多的非关系型数据库就开始出现，这类数据库与传统的关系型数据库在设计和数据结构有了很大的不同， 它们更强调数据库数据的高并发读写和存储大数据，这类数据库一般被称为NoSQL（Not only SQL）数据库。 而传统的关系型数据库在一些传统领域依然保持了强大的生命力。

数据库管理系统

数据库管理系统（DataBase Management System，简称DBMS）是为管理数据库而设计的电脑软件系统，一般具有存储、截取、安全保障、备份等基础功能。数据库管理系统可以依据它所支持的数据库模型来作分类，例如关系式、XML；或依据所支持的计算机类型来作分类，例如服务器群集、移动电话；或依据所用查询语言来作分类，例如SQL、XQuery；或依据性能冲量重点来作分类，例如最大规模、最高运行速度；亦或其他的分类方式。不论使用哪种分类方式，一些DBMS能够跨类别，例如，同时支持多种查询语言。

数据库管理系统是数据库系统的核心组成部分，主要完成对数据库的操纵与管理功能，实现数据库对象的创建、数据库存储数据的查询、添加、修改与删除操作和数据库的用户管理、权限管理等，它的安全直接关系到整个数据库系统的安全。

数据库类型

1、关系型数据库：

关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。

关系模型可以简单理解为二维表格模型，而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。

特点：

易扩展：去掉关系数据库的关系型特性，数据之间无关系，非常容易扩展
大数据量，高性能：益于它的无关系性，数据库的结构简单，具有非常高的读写性能，尤其在大数据量下，同样表现优秀
灵活的数据模型：无须事先为要存储的数据建立字段，随时可以存储自定义的数据格式。
高可用：在不太影响性能的情况，就可以方便地实现高可用的架构。

1.存储方式： 传统的关系型数据库采用表格的储存方式，数据以行和列的方式进行存储，要读取和查询都十分方便。

2.存储结构： 关系型数据库按照结构化的方法存储数据，先定义好表的结构，再根据表的结构存入数据。好处就是由于数据的形式和内容在存入数据之前就已经定义好了，所以整个数据表的可靠性和稳定性都比较高，但带来的问题就是一旦存入数据后，如果需要修改数据表的结构就会十分困难。

3.存储规范： 关系型数据库为了避免重复、规范化数据以及充分利用好存储空间，把数据按照最小关系表的形式进行存储，这样数据管理的就可以变得很清晰、一目了然，当然这主要是一张数据表的情况。如果是多张表情况就不一样了，由于数据涉及到多张数据表，数据表之间存在着复杂的关系，随着数据表数量的增加，数据管理会越来越复杂。

4.扩展方式： 关系型数据库只具备纵向扩展能力。由于关系型数据库将数据存储在数据表中，数据操作的瓶颈出现在多张数据表的操作中，而且数据表越多这个问题越严重，如果要缓解这个问题，只能提高处理能力，也就是选择速度更快性能更高的计算机，这样的方法虽然可以一定的拓展空间，但这样的拓展空间一定有非常有限的。

5.查询方式： 关系型数据库采用结构化查询语言（即SQL）来对数据库进行查。SQL早已获得了各个数据库厂商的支持，成为数据库行业的标准，它能够支持数据库的CRUD（增加，查询，更新，删除）操作，具有非常强大的功能，SQL可以采用类似索引的方法来加快查询操作。

6.规范化： 在数据库的设计开发过程中开发人员通常会面对同时需要对一个或者多个数据实体（包括数组、列表和嵌套数据）进行操作，这样在关系型数据库中，一个数据实体一般首先要分割成多个部分，然后再对分割的部分进行规范化，规范化以后再分别存入到多张关系型数据表中，这是一个复杂的过程。好消息是随着软件技术的发展，相当多的软件开发平台都提供一些简单的解决方法，例如，可以利用ORM层（也就是对象关系映射）来将数据库中对象模型映射到基于SQL的关系型数据库中去以及进行不同类型系统的数据之间的转换。

7.事务性： 关系型数据库强调ACID规则（原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）），可以满足对事务性要求较高或者需要进行复杂数据查询的数据操作，而且可以充分满足数据库操作的高性能和操作稳定性的要求。并且关系型数据库十分强调数据的强一致性，对于事务的操作有很好的支持。关系型数据库可以控制事务原子性细粒度，并且一旦操作有误或者有需要，可以马上回滚事务。

8.读写性能： 关系型数据库十分强调数据的一致性，并为此降低读写性能付出了巨大的代价，虽然关系型数据库存储数据和处理数据的可靠性很不错，但一旦面对海量数据的处理的时候效率就会变得很差，特别是遇到高并发读写的时候性能就会下降的非常厉害。

常用关系型数据库：

关系型数据库常见的有 Oracle、Microsoft SQL Server、DB2、Mysql、MariaDB（MySQL的代替品）、Percona Server（MySQL的代替品）、PostgreSQL、Microsoft Access、FileMaker、Sybase、dBASE、FoxPro等多个品种，每种数据库的语法、功能和特性也各具特色。但几乎所有的数据库管理系统都配备了一个开放式数据库连接（ODBC）驱动程序，令各个数据库之间得以互相集成。除了Mysql大多数的关系型数据库如果要使用都需要支付一笔价格高昂的费用，即使是免费的Mysql性能也受到了诸多的限制。在轻量或者小型的应用中，使用不同的关系型数据库对系统的性能影响不大，但是在构建大型应用时，则需要根据应用的业务需求和性能需求，选择合适的关系型数据库。

Oracle数据库是由甲骨文公司开发，并于1989年正式进入中国市场。虽然当时的Oracle尚名不见经传，通过多年的发展积聚了众多领先性的数据库系统开发经验，在集群技术、高可用性、安全性、系统管理等方面都取得了较好的成绩。Oracle产品除了数据库系统外，还有应用系统、开发工具等。在数据库可操作平台上，Oracle可在所有主流平台上运行，因而可通过运行于较高稳定性的操作系统平台，提高整个数据库系统的稳定性。

MySQL数据库是一种开放源代码的关系型数据库管理系统（RDBMS），可以使用最常用结构化查询语言进行数据库操作。也因为其开源的特性，可以在General Public License的许可下下载并根据个性化的需要对其进行修改。MySQL数据库因其体积小、速度快、总体拥有成本低而受到中小企业的热捧，虽然其功能的多样性和性能的稳定性差强人意，但是在不需要大规模事务化处理的情况下，MySQL也是管理数据内容的好选择之一。

Microsoft SQL Server数据库最初是由Microsoft、Sybase和Ashton-Tate三家公司共同开发的，于1988 年推出了第一个操作系统版本。在Windows NT 推出后，Microsoft 将SQL Server 移植到Windows NT系统上，因而SQL Server数据库伴随着Windows操作系统发展壮大，其用户界面的友好和部署的简捷，都与其运行平台息息相关，通过Microsoft的不断推广，SQL Server数据库的占有率随着Windows操作系统的推广不断攀升。

标准SQL语句：

虽然关系型数据库有很多，但是大多数都遵循SQL（结构化查询语言，Structured Query Language）标准。 常见的操作有查询，新增，更新，删除，求和，排序等。

查询语句： SELECT param FROM table WHERE condition 该语句可以理解为从 table 中查询出满足 condition 条件的字段 param。

新增语句： INSERT INTO table （param1，param2，param3） VALUES （value1，value2，value3） 该语句可以理解为向table中的param1，param2，param3字段中分别插入value1，value2，value3。

更新语句： UPDATE table SET param=new_value WHERE condition 该语句可以理解为将满足condition条件的字段param更新为 new_value 值。

删除语句： DELETE FROM table WHERE condition 该语句可以理解为将满足condition条件的数据全部删除。

去重查询： SELECT DISTINCT param FROM table WHERE condition 该语句可以理解为从表table中查询出满足条件condition的字段param，但是param中重复的值只能出现一次。

排序查询： SELECT param FROM table WHERE condition ORDER BY param1该语句可以理解为从表table 中查询出满足condition条件的param，并且要按照param1升序的顺序进行排序。

总体来说， 数据库的SELECT，INSERT，UPDATE，DELETE对应了我们常用的增删改查四种操作。

2、非关系型数据库（NoSQL）

NoSQL最常见的解释是“non-relational”， “Not Only SQL”也被很多人接受。NoSQL仅仅是一个概念，泛指非关系型的数据库，区别于关系数据库，它们不保证关系数据的ACID特性。

随着互联网web2.0网站的兴起，传统的关系型数据库在处理超大规模和高并发的SNS(社交网络服务)类型的web2.0纯动态网站已经显得力不从心，出现了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。

NoSQL数据库在应用过程中，工作完成质量会随着节点的变化而产生波动，当节点过多时，相关工作结果就无法那么准确。这一问题使整个系统的工作效率受到影响，导致整个数据库系统的数据乱码与出错率大大提高，甚至会出现数据节点的内容迁移，产生错误的代码信息。但尽管如此，NoSQL数据库技术还是具有非常明显的应用优势，如数据库结构相对简单，在大数据量下的读写性能好；能满足随时存储自定义数据格式需求，非常适用于大数据处理工作。

NoSQL数据库适合追求速度和可扩展性、业务多变的应用场景。对于非结构化数据的处理更合适，如文章、评论，这些数据如全文搜索、机器学习通常只用于模糊处理，并不需要像结构化数据一样，进行精确查询，而且这类数据的数据规模往往是海量的，数据规模的增长往往也是不可能预期的，而NoSQL数据库的扩展能力几乎也是无限的，所以NoSQL数据库可以很好的满足这一类数据的存储。NoSQL数据库利用key-value可以大量的获取非结构化数据，并且数据的获取效率很高，但用它查询结构化数据效果就比较差。

特点：

1.存储方式： 非关系型数据不适合表格存储方式，通常以数据集的方式，大量的数据集中存储在一起，类似于键值对、图结构或者文档。

2.存储结构： NoSQL数据库由于面对的是大量非结构化的数据的存储，它采用的是动态结构，对于数据类型和结构的改变非常的适应，可以根据数据存储的需要灵活的改变数据库的结构。

3.存储规范： NoSQL数据库的数据存储方式是用平面数据集的方式集中存放，虽然会存在数据被重复存储，从而造成存储空间被浪费的问题（从当前的计算机硬件的发展来看，这样的存储空间浪费的问题微不足道），但是由于基本上单个数据库都是采用单独存放的形式，很少采用分割存放的方式，所以这样数据往往能存成一个整体，这对于数据的读写提供了极大的方便。

4.扩展方式： NoSQL数据库由于使用的是数据集的存储方式，它的存储方式一定是分布式的，它可以采用横向的方式来开展数据库，也就是可以添加更多数据库服务器到资源池，然后由这些增加的服务器来负担数据量增加的开销。

5.查询方式： NoSQL数据库使用的是非结构化查询语言（UnQL），它以数据集（像文档）为单位来管理和操作数据，由于它没有一个统一的标准，所以每个数据库厂商提供产品标准是不一样的，NoSQL中的文档Id与关系型表中主键的概念类似，NoSQL数据库采用的数据访问模式相对SQL更简单而精确。

6.规范化： 对于NoSQL数据库而言，它没有这方面的问题，它不需要规范化数据，它通常是在一个单独的存储单元中存入一个复杂的数据实体。

7.事务性： NoSQL数据库强调BASE原则（基本可用（Basically Available）、软状态（Soft-state）、最终一致性（Eventual Consistency）），它减少了对数据的强一致性支持，从而获得了基本一致性和柔性可靠性，并且利用以上的特性达到了高可靠性和高性能，最终达到了数据的最终一致性。NoSQL数据库虽然对于事务操作也可以使用，但由于它是一种基于节点的分布式数据库，对于事务的操作不能很好的支持，也很难满足其全部的需求，所以NoSQL数据库的性能和优点更多的体现在大数据的处理和数据库的扩展方面。

8.读写性能： NoSQL数据库相对关系型数据库优势最大的恰恰是应对大数据方面，也就是对于大量的每天都产生非结构化的数据能够高性能的读写，这是因为NoSQL数据库是按key-value类型进行存储的，以数据集的方式存储的，因此无论是扩展还是读写都非常容易，并且NoSQL数据库不需要关系型数据库繁琐的解析，所以NoSQL数据库大数据管理、检索、读写、分析以及可视化方面具有关系型数据库不可比拟的优势。

常用非关系型数据库：

对于NoSQL数据库，比较主流的有redis，HBase，MongoDb，memcache等产品，通常都采用开源的方式，不需要像关系型数据库那样，需要一笔高昂的花费。

非关系型数据库分类：

目前NoSQL数据库仍然没有一个统一的标准，它现在有四种大的分类：

（1）键值对存储（key-value）数据库： 它的优点能够进行数据的快速查询，而缺点是需要存储数据之间的关系。这一类数据库主要会使用到一个哈希表，这个表中有一个特定的键和一个指针指向特定的数据。Key/value模型对于IT系统来说的优势在于简单、易部署。但是如果数据库管理员(DBA)只对部分值进行查询或更新的时候，Key/value就显得效率低下了。代表软件有：Redis，Tokyo Cabinet/Tyrant，Voldemort，Oracle BDB。

（2）列存储数据库： 它的优点是对数据能快速查询，数据存储的扩展性强，而缺点是数据库的功能有局限性。这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在，但是它们的特点是指向了多个列。这些列是由列家族来安排的。代表软件有：Hbas，Cassandra，Riak。

（3）文档数据库存储数据库： 它的优点是对数据结构要求不特别的严格。而缺点是查询性的性能不好，同时缺少一种统一查询语言。它同第一种键值存储相类似。该类型的数据模型是版本化的文档，半结构化的文档以特定的格式存储，比如JSON。文档型数据库可以看作是键值数据库的升级版，允许之间嵌套键值，在处理网页等复杂数据时，文档型数据库比传统键值数据库的查询效率更高。代表软件有：MongoDB，CouchDB，SequoiaDB。

（4）图形数据库存储数据库： 它的优点可以方便的利用图结构相关算法进行计算，而缺点是要想得到结果必须进行整个图的计算，而且遇到不适合的数据模型时，图形数据库很难使用。图形结构的数据库同其他行列以及刚性结构的SQL数据库不同，它是使用灵活的图形模型，并且能够扩展到多个服务器上。NoSQL数据库没有标准的查询语言(SQL)，因此进行数据库查询需要制定数据模型。许多NoSQL数据库都有REST式的数据接口或者查询API。代表软件有：InfoGrid，Neo4J，Infinite Graph。