Flink1.9.1写入Hbase1.1.2

本文介绍了使用Flink 1.9.1从Kafka读取数据并写入HBase时遇到的常见问题及解决方案。包括Kafka消费者无法读取数据(可能由于Kafka连接依赖版本不匹配)、无法连接到HBase(可能因未正确配置Zookeeper主机或代理问题)以及线上环境HBase写入报空指针错误(可能因HBase在Zookeeper中的目录配置不正确)。提供了解决这些问题的建议和代码示例。
摘要由CSDN通过智能技术生成

这次试手Flink从kafka读数据写入hbase,遇到了很大的坑

1.我的程序是用Flink 1.9.1从本地kafka读取数据,写到本地hbase,本地zookeeper和kafka服务都起好了,开始运行程序,没有报错信息,就是一直读不到kafka的数据,在kafka生产者命令窗口都输入10条了,我想怎么还没开始读数据,我也没设置时间窗口啊,见鬼了

答:这种问题99%都是因为你的kafka连接依赖版本不对,如果你现在是1.1不妨改成0.9试试,或许可以读出来了,相反也可以试试。

注:别忘了在flink代码addsource时也要用“FlinkKafkaConsumer09”,不过你改完依赖不改这个,IDEA会提示你的,没多大事

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.9_2.11</artifactId>
            <version>1.9.1</version>
        </dependency>

2.程序运行起来没问题,kafka也读出数据了,但是一直卡在连接hbase步骤,不失败也不报错,这个开始以为是hbase-client引用版本的事情,特意去maven官网去查了查对应支持的版本,发现没问题啊,为啥这样对我呢?

答:这个问题99%是因为没有找到zookeeper的主机,程序在不停的尝试连接你配置的主机,就是连不上,你说气人不?但是像我这种人没有服务器的主,连接的是本地的地址啊“127.0.0.1”,为啥还会这样呢,讲不讲理?本地也找不到了????这个时候看看你有没有连接什么代理工具,你要是老老实实连个WiFi不至于这样,把代理关了,再试试,或许真的连上了。

configuration.set("hbase.zookeeper.quorum", "127.0.0.1");

3.还有一种情况实在本地运行不易发生的,但是我必须说,线上很容易出问题,此时将写入hbase的配置信息的zookeeper连接地址改为服务器的地址,然后运行程序,这个时候读取kafka一点问题没有,写入hbase报空指针,死活写不进去,你说咋办吧,网上有很多博客说这个事,但是很多都不解决问题或者不适合我们的问题。

答:这个可能是我们程序找不到hbase在zookeeper的目录了,跟默认的不一致,我们最好去zk客户端里边找找我们的hbase的目录之后再填写这个参数,保险些。

config
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值