kafka
文章平均质量分 84
静远小和尚
这个作者很懒,什么都没留下…
展开
-
Flink流处理API——window(窗口) API详解
原文链接:https://www.toutiao.com/i6859649771255104012/本文主要从以下几个方面介绍Flink流处理API——window(窗口) API一、window概念二、window类型三、windowAPI 的Demo四、时间语义五、设置事件创建时间(Event Time)六、水位线(Watermark)七、watermark的API版本:scala:2.11.12Kafka:0.8.2.2Flink:1.7.2pom.原创 2020-08-11 17:17:07 · 926 阅读 · 0 评论 -
Flink流处理API——Source
原文链接:https://www.toutiao.com/i6859232281211437581/本文主要从以下几个方面介绍Flink的流处理API——Source一、从集合中读取数据二、从文件中读取数据三、从Kafka中读取数据四、自定义Source数据处理的过程基本可以分为三个阶段分别是,数据从来哪里,做什么业务逻辑,落地到哪里去。这三部分在Flink中分别被称为Source、Transform和Sink版本:scala:2.11.12Kafka:0.8.2.2原创 2020-08-10 14:26:01 · 462 阅读 · 1 评论 -
Flink从Kafka0.8中读取数据报Failed to instantiate SLF4J LoggerFactory Reported exception 错误
Flink从KAFKA中读取数据报以下错误:Failed to instantiate SLF4J LoggerFactoryReported exception:java.lang.NoClassDefFoundError: org/apache/log4j/LevelFlink版本:1.7.2KAFKA版本:0.8.2.2代码:package xxximport java.util.Propertiesimport org.apache.flink.api.com.原创 2020-08-09 15:27:53 · 614 阅读 · 0 评论 -
SparkStreaming读取Kafka的两种方式
原文链接:https://mp.toutiao.com/profile_v4/graphic/preview?pgc_id=6855283208414560780本文主要从以下几个方面介绍SparkStreaming读取Kafka的两种方式:一、SparkStreaming简介二、Kafka简介三、Redis简介(可用于保存历史数据或偏移量数据)四、SparkStreaming读取Kafka数据的两种方式五、演示Demo一、SparkStreaming简介可以参考这篇文章:S原创 2020-07-30 22:44:22 · 2175 阅读 · 0 评论 -
SparkStreaming 详解
原文链接:https://www.toutiao.com/i6854493461903901197/本文主要从以下几个方面介绍SparkStreaming:一、SparkStreaming是什么二、SparkStreaming支持的业务场景三、SparkStreaming的相关概念四、DStream介绍五、SparkStreaming的机制六、SparkStreaming的Demo一、SparkStreaming是什么在讲sparkStreaming是什么之前首先讲一下为原创 2020-07-28 19:42:14 · 1863 阅读 · 0 评论 -
Kafka(分布式发布订阅消息系统) 简介
原文链接:https://mp.toutiao.com/profile_v3/graphic/preview?pgc_id=6854137793556251147本文主要从以下几个方面介绍分布式发布订阅消息系统一、什么是Kafka二、kafka的特性三、kafka的使用场景四、kafka中相关术语介绍五、kafka相关机制六、kafka的Demo一、什么是kafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(rep原创 2020-07-27 20:49:09 · 880 阅读 · 0 评论
分享