使用Flume采集流式数据发送到Kafka，再由Flink消费Kafka数据，实现电话号码统计

最新推荐文章于 2022-10-03 23:55:55 发布

哆啦丶赫

最新推荐文章于 2022-10-03 23:55:55 发布

阅读量540

点赞数

分类专栏：原创文章标签： flink kafka 大数据

本文链接：https://blog.csdn.net/oO_DoraHe/article/details/105496205

版权

该博客详细介绍了如何利用Flume采集流式数据，并将其发送到Kafka，接着使用Flink从Kafka消费数据，进行电话号码的统计分析。通过设置Flink的时间窗口，计算5秒内电话号码的出现次数，并将结果打印到控制台。此外，还展示了如何处理超时数据，确保事件时间的正确处理。

摘要由CSDN通过智能技术生成

Flume采集流式数据发送到Kafka
bin/flume-ng agent --conf-file ./job/flume-kafka.conf -c conf/ --name a1 -Dflume.root.logger=DEBUG,console

//基于flink的API
case class Tel(iphone:Long,timestamp:Long)
object zuoye1 {
def main(args: Array[String]): Unit = {
val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
env.setParallelism(1)
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
val properties = new Properties()
//kafka配置
properties.setProperty(“bootstrap.servers”, “hdp001:9092,hdp002:9092,hdp003:9092”)
properties.setProperty(“key.deserializer”, “org.apache.kafka.common.serialization.StringDeserializer”)
properties.setProperty(“value.deserializer”, “org.apache.kafka.common.serialization.StringDeserializer”)
//数据
val datastream: DataStream[Tel] = env.addSource(new FlinkKafkaConsumer[String](“tel”, new SimpleStringSchema(), prop