Hbase
醉糊涂仙
这个作者很懒,什么都没留下…
展开
-
hbase集群安装配置
1.安装JDK 略 2.安装zookeeper集群(flux04, flux05, flux06) 略 3.安装hadoop集群(flux04, flux05, flux06, flux07, flux08, flux09) 略 4.安装hbase(flux07, flux08, flux09) 解压安...原创 2017-08-26 20:06:02 · 429 阅读 · 0 评论 -
hbase的shell基本操作
1,进入hbasehbase shell2,退出hbaseexit3,查看集群状态status4,查看hbase版本version5,查看有哪些表list6,查询有哪些指令help7,查看指令用法help 'create'8,hbase中单引号和双引号都可以用,而且单引号和双引号可以混用,但是配对时不能混用。正确 ...原创 2018-05-11 17:58:55 · 524 阅读 · 0 评论 -
Storefile和Hfile
(1)HStore对应了table中的一个CF列族. (2)HStore包含MemStore和StoreFile(底层实现是HFile). (3)当其中一个CF的Memstore达到阈值flush时,所有其他CF的也会被flush,每次Memstore Flush,会为每个CF都创建一个新的HFile (4)由于(3)的原因,导致了StoreFile的大小不一样.当StoreFile文件数量...原创 2018-06-22 15:36:52 · 7113 阅读 · 1 评论 -
hbase定义一个列族
Hregion对应Table的一个region Hregion对应多个HStore(即基于列族的存储) Hstore由两部分构成MemStore和StoreFile 数据先存入MemStore,当MemStore超过设定的阈值时,则flush一次到StoreFile中(即落地)写数据时有的列族已经写满达到阈值,另外的列族还没写多少没有达到阈值,但是真实情况是只要有一个列族达到阈值,其他列...原创 2018-07-03 17:13:36 · 2093 阅读 · 0 评论 -
Hbase和Hive
Hive中的表是纯逻辑表,就只是表的定义等,即表的元数据。Hive本身不存储数据,它完全依赖HDFS和MapReduce。这样就可以将结构化的数据文件映射为为一张数据库表,并提供完整的SQL查询功能,并将SQL语句最终转换为MapReduce任务进行运行。 而HBase表是物理表,适合存放非结构化的数据。两者分别是什么? Apache Hive是数据仓库。通过Hive可以使用HQL语言查询...转载 2018-07-17 08:40:49 · 208 阅读 · 0 评论 -
spark实现hbase多线程批量读取
pom文件 <!--*************************************************************************--> <dependency> <groupId>org.apache.spark</groupId> &原创 2018-07-18 19:27:33 · 5277 阅读 · 0 评论