又到金三银四的季节,相信各位都已经找到适合自己的工作了~当然我也悄悄告诉你我也找到了,去到更广阔的平台
今年开始决定正式进入大数据领域工作,从事大数据方向方面的开发。因为之前我一直在游戏公司,所以我选择领域是游戏行业的大数据解决方案。目前我的工作主要是负责建立一套游戏大数据运营系统,包括一套完善的游戏数据采集,计算,落地的系统。通过开发一套游戏大数据运营系统提供给我们的游戏运营大佬们。
通过整合海量数据处理、敏捷BI、智能算法等平台能力,提高游戏日志等数据向业务价值转化的效率及智能化水平。
以前游戏大部分处理游戏日志都是把原始数据通过游戏服保存至Mysql,然后GM后台通过一定的定时逻辑运行定时统计,统计后的数据存入Mysql结果库。随着数据量的不断增长,MySQL传统关系型数据库并不能满足日益增长的数据需求。作为数据仓库需要解决高可用,分布式,存储大量数据的数据库。Hbase就是不错的选择。同时传统的数据统计计算交由Mysql的统计语句对数据进行汇总统计,加剧数据库负担,并且对实际生产环境产生一定的影响。Mysql是一款数据存储引擎,并不适合做大量的数据汇总与计算。计算应该交由专业的计算引擎去做计算【参考计算框架:MR,Spark,Flink】
![](https://image.gzczy.top/2019/03/HBase.png)
HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable。 Hbase作为大数据产品家族的一员,存储底层借助Hadoop的HDFS,能够存储海量数据,同时它和mongoDB一样,也是一款NoSQL产品,但是却有一定的区别,例如列族,RowKey这些概念。下面我们来看看Hbase的架构图
![](https://image.gzczy.top/2019/03/1395193-20180820160943668-488191030.jpg)
HBase 一种是作为存储的分布式文件系统,另一种是作为数据处理模型的 MR 框架。因为日常开发人员比较熟练的是结构化的数据进行处理,但是在 HDFS 直接存储的文件往往不具有结构化,所以催生出了 HBase 在 HDFS 上的操作。如果需要查询数据,只需要通过键值便可以成功访问。 HBase 内置有 Zookeeper,但一般我们会有其他的 Zookeeper 集群来监管 master 和 regionserver,Zookeeper 通过选举,保证任何时候,集群中只有一个活跃的 HMaster,HMaster 与 HRegionServer 启动时会向 ZooKeeper 注册,存储所有 HRegion 的寻址入口,实时监控 HRegionserver 的上线和下线信息。并实时通知给 HMaster,存储 HBase 的 schema 和 table 元数据,默认情况下,HBase 管理 ZooKeeper 实例,Zookeeper 的引入使得 HMaster 不再是 单点故障。一般情况下会启动两个 HMaster,非 Active 的 HMaster 会定期的和 Active HMaster 通信以获取其最新状态,从而保证它是实时更新的,因而如果启动了多个 HMaster 反而增加 了 Active HMaster 的负担。 一个 RegionServer 可以包含多个 HRegion,每个 RegionServer 维护一个 HLog,和多个 HFiles 以及其对应的 MemStore。RegionServer 运行于 DataNode 上,数量可以与 DatNode 数量一致
![](https://image.gzczy.top/2019/03/%E6%95%B0%E6%8D%AE%E6%B5%81.png)
随着 Spark 以及其社区的不断发展,Spark 及 Spark SQL 本身技术的不断成熟,Spark 在技术架构和性能上都展示出 Hive 无法比拟的优势。以前我们常用Hive进行数据分析,目前Spark结合SparkStreaming,MLib等组件能完美配合完成大数据生态圈的工作
![](https://image.gzczy.top/2019/03/%E5%AE%9E%E6%97%B6%E5%88%86%E6%9E%90%E7%B1%BB.png)
我们通常会通过Kafka消息队列对接SparkStreaming作为消费者,根据Group去消费一组业务的Topic,主要有以下场景:
Streaming实时读取Kafka数据做ETL 复杂的ETL可以实时读取HBase/Phoenix的维表数据做关联 结果数据写入HBase/Phoenix对外提供在线查询服务
现在阿里云最近在搞活动,免费1个月Hbase单节点版体验学习。借此机会赶紧学习一下~~ 白用白不用~ 赶紧撸了一台
![](https://image.gzczy.top/2019/03/image.png)
阿里云Hbase访问控制台
通过管理开通公网访问权限,公网访问必须下载阿里云Hbase客户端,借助ECS 访问ZK地址去访问的。这个大家可以参考官方文档,我这里不做过多的描述。我们连接上去首先先来些简单操作,例如创建一张表Student:
![](https://image.gzczy.top/2019/03/image-1.png)
Hbase-UI
我们首先创建表,然后往里面放入数据,人名为czy年龄23的和一条人名为yejoe的,sex为0的数据。Hbase这里存数据是使用put,不是insert,mongdob使用时update,mysql使用insert,大家意思都有点大同小异,最好扫描了一下表结构。
![](https://image.gzczy.top/2019/03/image-2.png)
操作记录
![](https://image.gzczy.top/2019/03/image-3.png)
取出用户数据和查看表结构
![](https://image.gzczy.top/2019/03/image-4.png)
统计student条数(基于RowKey),然后我们修改表结构,最多有3版本,然后再次放入数据,可以看到每次get会取出最新的数据
![](https://image.gzczy.top/2019/03/image-5.png)
我们可以看到Hbase控制台查看Table Schema
通过简单学习,是不是发现Hbase原来这么强大,后续我们还会介绍Hbase读写机制,Hbase实际生产应用
查看原文:https://blog.gzczy.top/index.php/2019/03/20/hbase%e7%ae%80%e5%8d%95%e4%bb%8b%e7%bb%8d%e4%b8%8e%e4%bd%bf%e7%94%a8/
--Posted from Rpc