flume
文章平均质量分 66
z骑士
认真的懒人
展开
-
flume接收数据传入hbase,并生成指定的rowkey和column
接口源码文章:https://blogs.apache.org/flume/entry/streaming_data_into_apache_hbase 参考博客:https://blog.csdn.net/m0_37739193/article/details/72868456 目的:flume从event中取出数据作为hbase的rowkey 使用flume接收数据,再传入hbase中,要求中...原创 2018-11-09 16:20:49 · 2592 阅读 · 0 评论 -
尝试flume配置文件从启动命令接收参数
接着上一篇flume接收数据传入hbase。 这次的目的是: flume配置文件sink指定hbase的表名可以当成参数进行接收,以便于能随外部切换hbase不同的表。 例如在test.conf中 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = ...原创 2018-11-09 17:01:41 · 1556 阅读 · 1 评论 -
flume接收kafka数据,设置偏移量
kafka官方文档中对于它的偏移解释: auto.offset.reset 解释: What to do when there is no initial offset in Kafka or if the current offset does not exist any more on the server (e.g. because that data has been deleted)...原创 2018-11-14 10:01:18 · 5319 阅读 · 1 评论