实时
凯己几
生而不易,何来简单。
展开
-
flink 从kafka读取数据 (java)
import jdk.nashorn.internal.codegen.CompilerConstants;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache...原创 2019-04-04 09:33:12 · 7158 阅读 · 0 评论 -
scala编写, flink 读取kafka并且自定义水印再将数据写入kafka中
flink 读取kafka数据并指定event time作为时间划分 再将数据导入kafka中(每分钟数据总和)(使用scala编写-复制运行可以直接跑通)1.需求说明(自定义窗口,每分钟的词频统计)1.从kafka中读取数据(topic:t1)。2.kafka中有event time时间值,通过该时间戳来进行时间划分,窗口长度为1分钟,窗口步长为1分钟。3.由于生产中可能会因为网...原创 2019-04-02 10:16:44 · 6439 阅读 · 0 评论 -
kafka的应用场景
关于消息队列的使用一、消息队列概述消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯四个场景。...转载 2019-04-11 12:34:58 · 4183 阅读 · 1 评论 -
type(Generic<xxx>)cannotbeusedas
flink the type (GenericType<com.xxxx >) cannot be used as key.亲们出现这种错误是因为你对象没有无参构造方法 ,要注意咯。加入无参构造就好了然后就可以正常运行了...原创 2019-04-19 10:34:09 · 935 阅读 · 3 评论