这次试手Flink从kafka读数据写入hbase,遇到了很大的坑
1.我的程序是用Flink 1.9.1从本地kafka读取数据,写到本地hbase,本地zookeeper和kafka服务都起好了,开始运行程序,没有报错信息,就是一直读不到kafka的数据,在kafka生产者命令窗口都输入10条了,我想怎么还没开始读数据,我也没设置时间窗口啊,见鬼了
答:这种问题99%都是因为你的kafka连接依赖版本不对,如果你现在是1.1不妨改成0.9试试,或许可以读出来了,相反也可以试试。
注:别忘了在flink代码addsource时也要用“FlinkKafkaConsumer09”,不过你改完依赖不改这个,IDEA会提示你的,没多大事
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-kafka-0.9_2.11</artifactId>
<version>1.9.1</version>
</dependency>
2.程序运行起来没问题,kafka也读出数据了,但是一直卡在连接hbase步骤,不失败也不报错,这个开始以为是hbase-client引用版本的事情,特意去maven官网去查了查对应支持的版本,发现没问题啊,为啥这样对我呢?
答:这个问题99%是因为没有找到zookeeper的主机,程序在不停的尝试连接你配置的主机,就是连不上,你说气人不?但是像我这种人没有服务器的主,连接的是本地的地址啊“127.0.0.1”,为啥还会这样呢,讲不讲理?本地也找不到了????这个时候看看你有没有连接什么代理工具,你要是老老实实连个WiFi不至于这样,把代理关了,再试试,或许真的连上了。
configuration.set("hbase.zookeeper.quorum", "127.0.0.1");
3.还有一种情况实在本地运行不易发生的,但是我必须说,线上很容易出问题,此时将写入hbase的配置信息的zookeeper连接地址改为服务器的地址,然后运行程序,这个时候读取kafka一点问题没有,写入hbase报空指针,死活写不进去,你说咋办吧,网上有很多博客说这个事,但是很多都不解决问题或者不适合我们的问题。
答:这个可能是我们程序找不到hbase在zookeeper的目录了,跟默认的不一致,我们最好去zk客户端里边找找我们的hbase的目录之后再填写这个参数,保险些。
config