![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
爱喝水的绿萝
这个作者很懒,什么都没留下…
展开
-
HBase(一)概述
HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统1、特点1.海量存储2.列式存储这里的列式存储其实说的是列族存储,Hbase 是根据列族来存储数据的。列族下面可以有非常多的列,列族在创建表的时候就必须指定。3.易扩展4.高并发2、HBase架构从图中可以看出 Hbase 是由 Client、Zookeeper、Master、HRegionServer、HDFS 等几个组件组成,下面来介绍一下几个组件的相关功能:1)ClientClient .原创 2022-01-12 20:09:55 · 329 阅读 · 0 评论 -
HBase(二)安装Hbase
1、部署zookeeper和hadoop2、解压HBase解压HBase压缩包到 opt 目录下[root@zhaohui01 opt]# tar -zxvf hbase-1.3.1-bin.tar.gz3、修改配置文件1.hbase-env.shexport JAVA_HOME=/opt/jdk-1.8export HBASE_MANAGES_ZK=falseexport HBASE_PID_DIR=/opt/hbase-1.3.1/pids在 /opt/hbase-原创 2022-01-12 20:12:50 · 429 阅读 · 0 评论 -
HBase(三)Shell操作
1、基本操作hbase shell #进入客户端help #查看帮助list #查看当前数据库有哪些表2、表操作创建表hbase(main):001:0> create 'stu','info'插入数据hbase(main):003:0> put 'student','1001','info:sex','male'hbase(main):004:0> put 'student','1001','info:age','18'hbase(main):005原创 2022-01-12 20:27:28 · 67 阅读 · 0 评论 -
MapReduce on HBase 遇到的问题
在本地运行mapReduce on HBase程序时,报错:org.apache.hadoop.yarn.api.records.LocalResource.setShouldBeUploadedToSharedCache(Z)V报错原因:由于maven导入的hbase-server或者hbase-client依赖中某些hadoop依赖版本与集群安装的hadoop版本不符合,比如,我在导入hbase依赖时,导入了hadoop的部分架包为2.5.2的jar包。解决办法: ...原创 2022-01-14 19:29:08 · 371 阅读 · 0 评论 -
HBase(四)HBase原理
1、HBase读数据流程 Client 先访问 zookeeper,从 meta 表读取 region 的位置,然后读取 meta 表中的数据。meta中又存储了用户表的 region 信息; 根据 namespace、表名和 rowkey 在 meta 表中找到对应的 region 信息; 找到这个 region 对应的 regionserver; 查找对应的 region; 先从 MemStore 找数据,如果没有,再到 BlockCache .原创 2022-01-14 19:50:52 · 207 阅读 · 0 评论 -
MapReduce on HBase(一)
1、自定义MapReduce目标:将集群上的 fruit.tsv 文件 通过编写 MapReduce程序,最终保存到HBase上的fruit表中注意:需要提前在HBase上把表创建好流程:1、编写Mapper类,将读取到的内容传到Reducer中package com.zch.hbase.mr1;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache原创 2022-01-14 19:53:36 · 468 阅读 · 0 评论 -
MapReduce on HBase(二)
自定义MapReduce on HBase原创 2022-01-14 19:55:36 · 344 阅读 · 0 评论