【大数据】HBase
文章平均质量分 73
.
海洋 之心
阿里云社区专家博主,图神经网络-大数据-推荐系统研究者,专注于计算机领域前沿技术的分享等人工智能算法研究工作
展开
-
【HBase】(7)-HBase常用API
简 介:HBase是谷歌BigData论文的一个代码实现,在大数据处理领域应用广泛。本文意在记录自己近期学习过程中的所学所得,如有错误,欢迎大家指正。 关键词:大数据组件、HBase、NoSQL一、HBase API学习(一)、DDL操作1.导入HBase依赖<dependencies> <dependency> <groupId>org.apache.hbase</groupId&g..原创 2021-06-24 11:57:25 · 395 阅读 · 2 评论 -
【HBase】(6)-Compact合并StoreFile流程
简 介:HBase是谷歌BigData论文的一个代码实现,在大数据处理领域应用广泛。本文意在记录自己近期学习过程中的所学所得,如有错误,欢迎大家指正。 关键词:大数据组件、HBase、NoSQL一、Compact合并StoreFile文件我们每次put一条数据,都会将其写入到MemStore中,然后达到一定条件后,将其flush到HDFS中,久而久之这样就会产生过多的小文件,我们就需要定期或者按照一定约束进行合并,产生的多个StoreFile如下图:此时可以看到有..原创 2021-06-22 22:48:04 · 429 阅读 · 3 评论 -
【HBase】(5)-HBase读数据流程
简 介:HBase是谷歌BigData论文的一个代码实现,在大数据处理领域应用广泛。本文意在记录自己近期学习过程中的所学所得,如有错误,欢迎大家指正。 关键词:大数据组件、HBase、NoSQL一、HBase读数据流程 HBase读数据流程:首先从zookeeper中获得meta表所在的RegionServer然后从meta表中获取待查询的表的Region所在的RegionServer,将查询到的信息放到Meta Cache缓存中,便于后续查找与查询到的Re..原创 2021-06-22 21:16:35 · 259 阅读 · 1 评论 -
【HBase】(4)-HBase写数据流程
简 介:HBase是谷歌BigData论文的一个代码实现,在大数据处理领域应用广泛。本文意在记录自己近期学习过程中的所学所得,如有错误,欢迎大家指正。 关键词:大数据组件、HBase、NoSQL一、HBase的写流程客户端向HBase写入数据分为几个流程:获取meta表所在的的RegionServer,也就是说客户端需要访问Zookeeper获得meta表所在的服务器,meta表中维护者我们HBase中所有表的位置,我们要获得我们要写的表的所在位置向维护meta..原创 2021-06-22 21:16:04 · 521 阅读 · 3 评论 -
【HBase】(3)-HBase详细结构图
简 介:HBase是谷歌BigData论文的一个代码实现,在大数据处理领域应用广泛。本文意在记录自己近期学习过程中的所学所得,如有错误,欢迎大家指正。 关键词:大数据组件、HBase、NoSQL一、HBase详细架构图 从上面的图可以看出,整个HBase组件是建立在HDFS的基础之上,利用zookeeper进行管理整个集群集群中存在一个HMaster和多个HRegionServer,HMaster是用来进行与zookeeper进行通信,管理整个HRegionSer..原创 2021-06-22 21:15:33 · 2246 阅读 · 2 评论 -
【HBase】(2)-集群的启动与关闭
简 介:HBase是谷歌BigData论文的一个代码实现,在大数据处理领域应用广泛。本文意在记录自己近期学习过程中的所学所得,如有错误,欢迎大家指正。 关键词:大数据组件、HBase、NoSQL HBase的运转是需要HDFS支持的,而且需要zookeeper进行管理Master,所以我们开启HBase服务之前要开启这两个服务。1.开启HDFS# 注意这里,因为hbase不需要进行计算,所以可以不用开yarnsbin/start-dfs.sh2.开启zook..原创 2021-06-22 21:15:02 · 989 阅读 · 2 评论 -
【HBase】(1)-HBase的安装
简 介:HBase是谷歌BigData论文的一个代码实现,在大数据处理领域应用广泛。本文意在记录自己近期学习过程中的所学所得,如有错误,欢迎大家指正。 关键词:大数据组件、HBase、NoSQL1.解压HBase安装包tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt2.修改配置文件1.hbase-env.sh# 配置jdkexport JAVA_HOME=/opt/module/jdk1.8.0_144# 将HBase内置的..原创 2021-06-22 21:14:32 · 239 阅读 · 1 评论