flink 对接kafka写进hbase里（代码和pom）

最新推荐文章于 2024-11-27 21:25:30 发布

十有八九

最新推荐文章于 2024-11-27 21:25:30 发布

阅读量1k

点赞数

本文链接：https://blog.csdn.net/weixin_44694973/article/details/100045084

版权

该博客详细介绍了如何使用 Flink 进行实时数据处理，从 Kafka 消费数据并将其存储到 HBase 数据库中。首先，强调了在开始之前HBase 中必须存在目标表。接着，提供了项目的 Maven 依赖配置，确保所有必要的库都已包含。这是一个针对大数据实时流处理的实践案例。

摘要由CSDN通过智能技术生成

hbase 里必须有表，不会自己创建

import java.util.Properties

import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.scala.{
   DataStream, StreamExecutionEnvironment}
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer08
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.hbase.{
   HBaseConfiguration, TableName}
import org.apache.hadoop.hbase.client.{
   Connection, ConnectionFactory, Put, Table}

object Test02 {
   

  def WriteHbase(x: String) = {
   
    val conf: Configuration = HBaseConfiguration.create()
    conf.set("hbase.zookeeper.quorum","node2: