- 博客(5)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 HBase 架构
数据的查找及传输HBase 和RDBMS的底层存储结构的不同RDBMS 的底层存储结构大多为B+树结构，这种结构可以通过主键对数据进行高效的查找、插入和删除操作，并且支持范围扫描（叶子节点之间相连并且主键有序）。HBase 的底层存储使用的是LSM树结构，这种结构的写操作（插入/修改/删除）都是在内存中进行的，并且会创建一个新纪录（修改会记录新的数据值，删除会记录一个删除标识） ，
2015-12-31 16:50:01
580
原创 HBase Write Path（写路径）
HBase是一个基于HDFS、低延迟的列式数据库，它支持随机访问和更改HDFS上的数据，但HDFS中的文件是只能附加的，并且一旦创建后是不能改变的，那么HBase是怎么做到低延迟读写的？该文主要介绍了HBase的写路径（Write Path），即HBase中的数据是怎么更改的？Write Path写路径（Write Path）实际就是HBase中put或delete数据的流程，是怎么put
2015-12-31 16:45:18
1038
原创 HBase Log Splitting（日志拆分）
该文主要介绍了HBase在一个region server崩溃后，如何通过日志拆分（Log Split）的方式来恢复丢失的修改，防止数据丢失的。Log Split（日志拆分）HBase为了提高写的性能，将数据的修改先放到memstore内存中，这样做的缺陷是当region server崩溃时，memstore中的所有修改将会丢失，因为它们还没有被刷写到磁盘上。为了防止这情况造成的数据丢失，H
2015-12-30 17:50:58
3840
原创 There are 0 datanode(s) running and no node(s) are excluded in this operation
在hive中，创建表后，使用load data命令加载数据到表中，出现“There are 0 datanode(s) running and no node(s) are excluded in this operation”错误，于是使用jps命令查看datanode节点是否都已经启动，发现都是正常启动 的，然后又使用“hdfs dfsadmin -report”命令查看节点的报告信息，发现没
2015-12-13 09:18:23
14442
2
原创 Hive 初识
Hive是什么？干嘛用的？工作机制？优缺点？区别？为什么要用它？HIve是什么？Hive是一个基于Hadoop的数据仓库工具，提供了方便查询和管理海量数据的能力，它可以把结构化的数据文件转化为一张数据库表，并支持简单的类SQL的查询功能（这对于熟悉关系型数据库的程序员来说就大大降低了学习门槛）。它是怎么工作的？在创建表的时候，需要加载数据文件（可以是HDFS上的文件，也可以是本地磁
2015-12-01 16:04:19
517
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人