接口源码文章:https://blogs.apache.org/flume/entry/streaming_data_into_apache_hbase
参考博客:https://blog.csdn.net/m0_37739193/article/details/72868456
目的:flume从event中取出数据作为hbase的rowkey
使用flume接收数据,再传入hbase中,要求中间数据不落地。
flume使用http source入口,使用sink连接hbase实现数据导入,并且通过channels使flume的内存数据保存到本地磁盘(防止集群出现故障,数据可以备份至本地)
传入数据格式为 http:10.0.0.1_{asdasd} 格式说明(url_数据)
hbase存储的结果为:
rowkey:当前时间_url
value:数据
即要对传入的数据进行切分,将url作为rowkey的一部分,当前时间作为另一部分,数据存储到value中
步骤:
1.重写flume中能指定rowkey的源码(HbaseEventSerializer接口)。再打成jar包
java源码见下面:
2.将制作jar包放入flum