Flume将数据导入Hbase

大数据 专栏收录该内容
25 篇文章 0 订阅

Flume 将数据导入Hbase

1:创建.conf文件

#cd   /usr/tmp

#mkdir  flumesrc

#vim  netcat_to_hbase_user.conf

a1.sources=r1
a1.sinks=s1
a1.channels=c1

a1.sources.r1.type=netcat
a1.sources.r1.bind=master
a1.sources.r1.port=44444

a1.sinks.s1.type = hbase
a1.sinks.s1.table = user
a1.sinks.s1.columnFamily = i
a1.sinks.s1.serializer = org.apache.flume.sink.hbase.RegexHbaseEventSerializer

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1


2:将hbase的8个jar包复制到flume安装目录的lib文件夹下


3:运行.conf文件

#flume-ng agent -c conf -f  netcat_to_hbase_user.conf  --name a1 -Dflume.root.logger=INFO,console


4:进入hbase,创建表

hbase(main):022:0> create 'user','i'


5:操作flume,向hive输入数据

[root@master ~]# telnet master 44444
Trying 192.168.2.100...
Connected to master.
Escape character is '^]'.
guanyaqi
OK


6:查询Hbase的user表数据

#scan 'user'



  • 4
    点赞
  • 0
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值