lv_hulk的博客

Hive面试篇之Hive与Hbase的区别使用方面区别Hive是一个构建在Hadoop平台上的数据仓库，可以将结构化的数据文件映射为一张数据库表。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化成Map/Reduce。HBase 是基于HDFS平台的Key/Value类型的NoSql数据库，是一个分布式、可扩展、存储海量数据的数据库，并且...

HBase 结合 MapReduce为什么需要用 MapReduce 去访问 HBase 的数据？——加快分析速度和扩展分析能力MapReduce 访问 HBase 数据作分析一定是在离线分析的场景下应用（一）HBaseToHDFS从 HBase 中读取数据，分析之后然后写入 HDFS，代码实现：import java.io.IOException;import java.util.L...

HBase的读写过程、Region管理、Master工作机制（一） 读写过程（1）读请求过程：1 客户端通过zookeeper以及root表和meta表找到目标数据所在的regionserver2 联系regionserver查询目标数据3 regionserver定位到目标数据所在的region，发出查询请求4 region先在memstore中查找，命中则返回5 如果在mems...

HBase的寻址机制（一）寻址示意图（二）-ROOT-和.META.表结构.META.行记录结构（三）老的 Region 寻址方式在 HBase-0.96 版本以前，HBase 有两个特殊的表，分别是-ROOT-表和.META.表，其中-ROOT-的位置存储在 ZooKeeper 中，-ROOT-本身存储了.META. Table 的 RegionInfo 信息，并且-ROOT-不...

将数据导入HBase中有如下几种方式将数据导入HBase中有如下几种方式：1.使用HBase的API中的Put方法2.使用HBase 的bulk load 工具3.使用定制的MapReduce Job方式使用HBase的API中的Put是最直接的方法，用法也很容易学习。但针对大部分情况，它并非都是最高效的方式。当需要将海量数据在规定时间内载入HBase中时，效率问题体现得尤为明显。待处理...

Rowkey设计、索引的使用、多条件查询(一) 行键rowkey设计如何在HBase中存储自己的数据，以及如何设计表结构，HBase中表分为高表和宽表两类，前者指列少而行多，后者正好相反。因为HBase的查询主要依赖rowkey，因此应该尽量将需要查询的维度或者信息放在rowkey中，因为通过rowkey去筛选记录的效率最高。用户可能需要扫描一定范围的记录，此时可以通过设置起始键和结束键，...

HBase架构（一）架构图Region： 是 HBase 将一个表中的所有数据按照 RowKey 的不同范围进行切割的逻辑单元，每个 Region 负责一定范围数据的读写访问。Region 由 RegionServer 负责管理。HBase 中的 Region的概念就和 HDFS 中的数据块的概念差不多，Region 是 HBase 表切分出来的一个分片。数据块是 HDFS 中的一个大文件...

HBase 和 Hive 的比较（一）相同点1、HBase 和 Hive 都是架构在 Hadoop 之上，用 HDFS 做底层的数据存储，用 MapReduce 做数据计算（二）不同点1、Hive 是建立在 Hadoop 之上为了降低 MapReduce 编程复杂度的 ETL 工具。HBase 是为了弥补 Hadoop 对实时操作的缺陷2、Hive 表是纯逻辑表，因为 Hive 的本...

HBase的基本使用(一) 数据结构首先做一个简要的总结：HBase最基本的单位是列。一列或者多列形成行数据，并由唯一的rowkey确定；HBase的主要数据结构包括:表、行、列和单元格；其中列是可动态增加的；这是一个典型的hbase的应用，在搜索系统中保存网页页面的content、anchor等相关属性信息，下面根据这个表应用来详细介绍这个数据结构中的相关概念；1. RowKeyRow...

HBase的基本概念及应用场景一、基本概念HBase就是一个数据库。我们主要可以通过这5个方面描述HBase：首先它是Bigtable的开源实现，论文中描述Bigtable主要运用于网页索引倒排表数据的存储。HBase和HDFS的模型最初参考的就是BigTable和GFS。搜索关键词google 三篇论文可以搜到论文。它是分布式数据库——较传统数据库更易扩展、更高可用。这里的高可用通常来...