kafka消费数据3.25总结

基于Flink完成Kafka中的数据消费，将数据分发至Kafka的dwd层中，并在HBase中进行备份同时建立Hive外表、HBase、Hive、ClickHouse、Redis等相关操作

 

1.使用flink消费kafka中的数据并统计实时营业额存入到redis中

import org.apache.flink api.common.serialization.SimpleSimport or g.apache fl ink configuration.Configuration

import org.apache.fl ink.str eaming.api.functions.ProcessFimport org.apache.fl ink .streaming.api.functions.sink.Rich9import org.apache.flink.streaming.api.scala._

import org.apache .fl ink. streaming.connectors.kafka.Flinkimport org.apache.fl ink .streaming.connector s.redis.Redis9import org.apache.fl ink.streaming.connectors.r edis.commoimport or g.apache.fl ink .streaming.connectors.redi s.commoimport org.apache.fl ink.util.Collector

2.kafka中需要依赖包，所以建kafka工程

 3.建hive表

4.Hbase安装

先解压再配置环境变量使环境变量生效

解压命令:tar   -zxvf          -C

配置环境变量命令:vi  /etc/profile

使生效命令:source   /etc/profile