storm+hbase实现hbase表列名的动态生成

最新推荐文章于 2024-03-22 10:53:48 发布

蜗牛^_^

最新推荐文章于 2024-03-22 10:53:48 发布

阅读量1.5k

点赞数 2

分类专栏： # Storm 文章标签： storm+hbase hbase动态列

本文链接：https://blog.csdn.net/yuyinghua0302/article/details/87922875

版权

前言

Storm框架可以通过hbasebolt将实时处理的数据写入hbase中，但是一般需要指定列名（比如：temp:name，再对应将name的值写入），如果列名是根据数据动态生成的（比如：temp:zhuhai_temp，其中zhuhai是从数据中获取的），那么该如何写入hbase呢？

这里举例进行说明，需要注意的是本例仅适用于本篇文章的讲解，不考虑案例的合理性。

案例：对全国不同省份不同城市的温度进行统计，要求Hbase表的设计如下：

表名：tempStatis

行健：省份名拼音_时间戳

列族：temp

列名：城市名拼音_temp

命令：put 'tempStatis','guangdong_1550906523','temp:zhuhai_temp','20'

put 'tempStatis','guangdong_1550906523','temp:guangzhou_temp','21'

解释：hbase的表tempStatis中写入数据，广东省珠海市的温度，广东省广州市的温度

解决方案

1）直接调用hbase api

思路：实现类，使其继承BaseBasicBolt，在该类中调用hbase api，实现hbase数据的写入。

2）仿照SimpleHBaseMapper，实现类，使其实现HBaseMapper接口

思路：参考SimpleHBaseMapper，在方法public ColumnList columns(Tuple tuple){}中根据需求修改如下代码。

cols.addColumn(this.columnFamily, field.getBytes(), Utils.toBytes(tuple.getValueByField(field)));

cols.addCounter(this.columnFamily, field.getBytes(), Utils.toLong(tuple.getValueByField(field)));

3）仿照HBaseBolt，实现类，使其继承AbstractHBaseBolt

思路：参考HBaseBolt，在方法public void execute(Tuple tuple) {}中根据需求修改代码。

文中主要介绍第三种方案的具体实现。

具体实现

1）拓扑图实现

2）Intellij 新建meven项目,pom.xml如下所示：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.wn</groupId>
    <artifactId>TemperTestAnalyser</artifactId>
    <version>1.0-SNAPSHOT&