flink
凯己几
生而不易,何来简单。
展开
-
flink 从kafka读取数据 (java)
import jdk.nashorn.internal.codegen.CompilerConstants;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache...原创 2019-04-04 09:33:12 · 7158 阅读 · 0 评论 -
Flink及Storm、Spark主流流框架比较-实时框架比较
实时计算框架对比 - flink,storm,spark 三者的区别我相信有不少的工程师都有着这样的处境,在学flink之前很好奇flink,storm,spark的区别是什么,为什么现在很多企业都在往flink方向转它的优势是什么,为什么不适用storm,为什么不适用spark,在下面的内容中我会为大家解答。希望可以帮助大家,也希望大家看了之后可以提出自己宝贵建议。有限数据集和无限数据集...原创 2019-04-10 14:28:20 · 12104 阅读 · 0 评论 -
scala编写, flink 读取kafka并且自定义水印再将数据写入kafka中
flink 读取kafka数据并指定event time作为时间划分 再将数据导入kafka中(每分钟数据总和)(使用scala编写-复制运行可以直接跑通)1.需求说明(自定义窗口,每分钟的词频统计)1.从kafka中读取数据(topic:t1)。2.kafka中有event time时间值,通过该时间戳来进行时间划分,窗口长度为1分钟,窗口步长为1分钟。3.由于生产中可能会因为网...原创 2019-04-02 10:16:44 · 6439 阅读 · 0 评论 -
Error:(10, 30) could not find implicit value for evidence parameter of type org.apache.flink.api.com
Error:(10, 30) could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[example.Main.Point] val ds = env.fromElements(Point(1, 2), Point(3,...原创 2019-04-12 19:51:21 · 1088 阅读 · 0 评论 -
type(Generic<xxx>)cannotbeusedas
flink the type (GenericType<com.xxxx >) cannot be used as key.亲们出现这种错误是因为你对象没有无参构造方法 ,要注意咯。加入无参构造就好了然后就可以正常运行了...原创 2019-04-19 10:34:09 · 935 阅读 · 3 评论