辅助线——hdfs 存储

HDFS 分布式文件系统

-NameNode
-DataNode
HDFS文件写入过程：
client端首先向namenode发起文件写请求，namenode根据集群的状态和datanode的空闲情况，确定待写入文件的datanode节点位置信息并将这些信息返回给client。client获得datanode节点位置信息后向datanode节点发起具体的文件写入请求，然后将文件逐步读入client的内存缓冲区，当client的内存缓冲区的大小达到一个block size大小时，把数据发送给datanode1，datanode1完成数据接收后 向另外一个datanode拷贝这份文件，形成备份文件，之后datanode1向namenode发送消息，报告文件的位置信息，最终结束写事件。
HDFS文件读过程：
client向namenode发起文件读请求，namenode判断请求的文件是否存在，如果不存在就直接返回，否则，namenode将返回该文件及其备份所在的datanode及具体的block信息。client拿到datanode和block信息信息后，向具体的datanode发起文件读请求并发送block信息，datanode拿到block信息后读取block对应的文件数据并将数据返回给client，如果整个数据读取结束，就完成了HDFS的读数据的过程。如果中途有datanode挂了的话，client则去读其文件副本所在的datanode的文件数据。

基础操作：
http://www.cnblogs.com/gaopeng527/p/4314215.html
未完待续

Hive 数据仓库

 Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。

可以把Hadoop下结构化数据文件映射为一张成Hive中的表，并提供类sql查询功能，除了不支持更新、索引和事务，sql其它功能都支持。可以将sql语句转换为MapReduce任务进行运行，作为sql到MapReduce的映射器。

Hbase 分布式数据库

 Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务。Hive被分区为表格，表格又被进一步分割为列簇。列簇必须使用schema定义，列簇将某一类型列集合起来（列不要求schema定义）。例如，“message”列簇可能包含：“to”, ”from” “date”, “subject”, 和”body”. 每一个 key/value对在Hbase中被定义为一个cell，每一个key由row-key，列簇、列和时间戳。在Hbase中，行是key/value映射的集合，这个映射通过row-key来唯一标识。Hbase利用Hadoop的基础设施，可以利用通用的设备进行水平的扩展。

Hbase VS Oracle

1. Hbase适合大量插入同时又有读的情况
2. Oracle是行式数据库，而Hbase是列式数据库.列式数据库的优势在于数据分析这种场景。数据分析与传统的OLTP的区别。数据分析，经常是以某个列作为查询条件，返回的结果也经常是某一些列，不是全部的列。在这种情况下，行式数据库反应的性能就很低效.
3. Hbase中数据可以保存许多不同时间戳的版本（即同一数据可以复制许多不同的版本，准许数据冗余，也是优势）

数据库基础知识

行式数据库与列式数据库
分布式事务——二阶段提交
cordinator -> prepare T
follower:
1) ok, 事务预处理，ready T
- cordinator收到所有ready T, 那么协调者会将Commit T日志写入磁盘，并向所有参与者发送一个Commit T信息，提交该事务
- 若协调者迟迟未收到某个参与者发来的信息，则认为该参与者发送了一个VOTE_ABORT信息，从而取消该事务的执行
2)不ok, 撤销自身修改，not commit T
- log abort T, abort T->followers, followers撤销所有操作

prepare, ready, commit, abort 状态都会记录在Log日志里