Python--数据库初识

一、数据库概述

1、为什么要使用数据库

1. 数据如果存储在文件中，读写占用磁盘IO，并且效率低下
2. 数据安全方面的考虑
3. 支持高并发

2. 数据库分类

目前的数据库可以分为两个大类：关系型数据库和非关系型数据库

2.1 关系型数据库（RDBMS）

解释：关系型数据库模型是把复杂的数据结构归结为简单的二元关系（即二维表格形式，不是excel，但是和excel的形式很像），结合下图来看一下，

这几个表之间建立了某种关系，共享着双方的数据。这就是关系。关系型数据库里面存数据的时候就类似这个样子的

2.2 非关系型数据库

非关系型数据库也被成为NoSQL数据库，NOSQL的本意是“Not Olnly SQL”

• 指的是非关系型数据库，而不是“No SQL”的意思，因此，NoSQL的产生并不是要彻底地否定关系型数据库，而是作为传统关系型数据库的一个有效补充。NOSQL数据库在特定的场景下可以发挥出难以想象的高效率和高性能。

• 随着互联网Web2.0网站的星期，传统的关系型数据库在应付web2,0网站，特别是对于规模日益扩大的海量数据，超大规模和高并发的微博、微信、SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题。

• 例如：传统的关系型数据库IO瓶颈、性能瓶颈都难以有效突破，于是出现了大批针对特定场景，以高性能和使用便利为目的功能特异化的数据库产品。NOSQL（非关系型）类的数据就是在这样的情景下诞生并得到了非常迅速的发展

1. 高性能、高并发、对数据一致性要求不高
2. 开源的NoSQL体系，如Facebook的Cassandra，Apache的HBase，也得到了广泛认同，Redis，mongb也逐渐越来越受到各类大中小型公司的欢迎和追捧

NOSQL非关系型数据库小结：
3. NOSQL不是否定关系数据库，而是作为关系数据库的一个重要补充
4. NOSQL为了高性能、高并发而生，忽略影响高性能，高并发的功能
5. NOSQL典型产品memcached （纯内存），redis（持久化缓存），mongodb（文档的数据库）

非关系数据库分类

（1）键值（Key-Value）存储数据库
        
键值数据库就类似传统语言中使用哈希表，可以通过key来添加、查询或删除数据，因为使用key主键访问，所以会获得很高的性能及扩展性 
        键值（Key-Value）数据库主要是使用一个哈希表，这个表中有一个特定的键和一个指针指向特定的数据。Key/value模型对于IT系统来说的优势在于简单、易部署、高并发 
        k1—>数据 
        k2—>数据 
        典型产品：Memcached、Redis、MemcacheDB、BerkeleyDB 

（2）列存储（Column-oriedted）数据库 ======>了解即可，一般公司用不到 
         这部分数据库通常用来分布式存储的海量数据，键仍然存在，但是他们的特点是指向了多个列。 
        典型产品：Cassandra,HBase 

（3）面向文档（Document-Oriented）数据库
        面向文档数据库会将以文档的形式存储。每个文档都是自包含的数据单元，是一系列数据项的集合。
        每个数据项都有一个名称与对应的值，值既可以是简单的数据类型，如字符串、数字和日期等；也可以是复杂的类型，如有序列表和关系对象。
        数据存储的最小单位是文档，同一个表中存储的文档属性可以是不同的，数据可以使用XML、JSON或者JSONB等多种形式存储 
        典型产品：MorgoDB、CouchDB 

（4）图形（Graph）数据库

常见的非关系型数据库介绍

 2.2.1  memcached（key-value）

　　Memcaced是一个开源的、高性能的、具有分布式内存对象的缓存系统。通过它可以减轻数据库负载，加速动态的web应用，最初版本由LiveJoumal 的Brad Fitzpatrick在2003年开发完成。目前全球有非常多的用户都在使用它来架构主机的大负载网站或提升主机的高访问网站的响应速度。注意：Memcache 是这个项目的名称，而Memcached是服务端的主程序文件名。 
缓存一般用来保存一些进程被存取的对象或数据，通过缓存来存取对象或数据要比在磁盘上存取块很多，前者是内存，后者是磁盘、Memcached是一种纯内存缓存系统，把经常存取的对象或数据缓存在memcached的内存中，这些被缓存的数据被程序通过API的方式被读取，memcached里面的数据就像一张巨大的hash表，数据以key-value对的方式存在。Memcached通过缓存经常被存取的对象或数据，从而减轻频繁读取数据库的压力，提高网站的响应速度，构建出快速更快的可扩展的Web应用。 
　　官网：http://memcached.org/ 
　　由于memcached为纯内存缓存软件，一旦重启所有数据都会丢失，因此，新浪网基于Memcached开发了一个开源项目Memcachedb。通过为Memcached增加Berkeley DB的特久化存储机制和异步主复制机制，使Memcached具备了事务恢复能力、持久化数据能力和分布式复制能力，memcached非常适合需要超高性能读写速度、持久化保存的应用场景，但是最近几年逐渐被其他的持久化产品替代如Redis

　　Memcached小结： 
　　1、key-value行数据库 
　　2、纯内存数据库 
　　3、持久化memcachedb（sina）

2.2.2  Redis（key-value）

        和Memcached类似，redis也是一个key-value型存储系统。但redis支持的存储value类型相对更多，包括string（字符串）、list（链表）、set（集合）和zset（有序集合）等。这些数据类型都支持push/pop、add/remove及取交集、并集和差集及更丰富的操作，而且这些操作都是原子性的。为了保证效率，redis的数据都是缓存在内存中。区别是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在基础上实现了master-slave（主从）同步。 

　　redis是一个高性能的key-value数据库。redis的出现、很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Python、Ruby、Erlang、PHP客户端，使用方便。 
　　官方：http://www.redis.io/documentation 
　　redis特点： 
　　1）支持内存缓存，这个功能相当于memcached 
　　2）支持持久化存储，这个功能相当于memcachedb，ttserver 
　　3）数据库类型更丰富。比其他key-value库功能更强 
　　4）支持主从集群、分布式 
　　5）支持队列等特殊功能 
　　应用：缓存从存取memcached更改存取redis

2.2.3  MongoDB（Document-oriented）

　　MongoDB是一个介于关系型数据库和非关系型数据库之间的产品，是非关系型数据库当中功能最丰富，最像关系数据库的。他支持的数据库结构非常松散，类似json的bjson格式，因此可以存储比较复杂的数据类型。Mongodb最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。 

　　特点： 
　　　　高性能、易部署、易使用、存储数据非常方便 
　　主要功能特性： 

　　　　1.面向集合存储，易存储对象类型的数据 
　　　　2.“面向集合”（Collenction-Orented）意思是数据库被分组存储在数据集中，被称为一个集合（Collenction）每个 集合在数据库中都有一个唯一的标识名，并且可以包含无限数目的文档，集合的概念类似关系型数据库（RDBMS）里的表（table）不同的是它不需要定义任何模式（schema） 
　　　　3.模式自由 
　　　　　　模式自由（schema-free）意为着存储在mongodb数据库中的文件，我们不需要知道它的任何结构定义。 
　　　　4.支持动态查询 
　　　　5.支持完全索引，包含内部对象 
　　　　6.支持查询 
　　　　7.支持复制和故障恢复 
　　　　8.使用高效的二进制数据存储，包括大型对象 
　　　　9.自动处理碎片、以支持云计算层次的扩展性
2.2.4  Cassandra（Column-oriented）

　　Apache Cassndra是一套开源分布式Key-Value存储系统。它最初由Facebook开发，用于存储特别大的数据。Facebook目前在使用此系统。 
主要特点： 

　　1.分布式 
　　2.基于column的结构化 
　　3.高伸展性 
　　4.Cassandra的主要特点就是它不是一个数据库，而是由一堆数据库节点共同构成一个分布式网络服务，对Cassandra的一个写操作，会被复制到其他节点上去，对Cassandra的读操作。也会被路由到某个节点上面去读取。 
　　Cassandir是一个混合型的非关系的数据库，类似于Google的BigTable。其主要功能比Dynomie（分布式的key-value存储系统）更丰富，Cassandra最初由Facebook开发，后转变成了开源项目。

2.2.5  其他不常用非关系型数据库

　　HBase、MemcacheDB、BerkeleyDB、Tokyo Cabinet\Tokyo Tyrant（ttserver） 
　　ttserver 持久化输出，缺点存储2千万条 性能下降（由日本人发明）