生产实习Day07---大数据分析实例

学习目标:

• 了解HBase的基本原理和操作

---

学习内容：

HBase 是一个面向列式存储的分布式数据库，HBase 底层存储基于 HDFS 实现，集群的管理基于 ZooKeeper 实现。

HBase组件角色：

• HMaster

功能：

1.监控 RegionServer

2.处理 RegionServer 故障转移

3.处理元数据的变更

4.处理region 的分配或移除

5.在空闲时间进行数据的负载均衡

6.通过 Zookeeper 发布自己的位置给客户端

• HRegionServer

功能：

1.负责存储 HBase 的实际数据

2.处理分配给它的 Region

3.刷新缓存到 HDFS

4.维护WAL

5.执行压缩

6.负责处理 Region 分片

• HFile

  这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。

• Store

​ HFile 存储在 Store 中，一个 Store 对应 HBase 表中的一个Column Family列族(列簇)。

• MemStore

  顾名思义，就是内存存储，位于内存中，用来保存当前的数据操作，所以当数据保存在 WAL中之后，RegsionServer 会在内存中存储键值对。

---

学习时间：

• 6.13号

---

学习产出：

HBase部署与启动：

（1）下载、解压缩，在/etc/profile全局配置文件中添加
（2）配置hbase-env.sh
（3）配置hbase-site.xml
（4）拷贝zookeeper的conf/zoo.cfg到hbase的conf/下
4）启动HBase
执行start-hbase.sh脚本