flink
功夫猫熊yeah
吃瓜群众
展开
-
could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.Ty
执行flink代码报如下错误 Error:(9, 32) could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[(String, Int)] val data = env.fromElements(("A" , 1) ...原创 2019-08-06 20:48:05 · 879 阅读 · 0 评论 -
flink的reduce和reduceGroup性能测试
reduceGroup 的性能官方说要高于reduce,下面是测试代码 package com.yeahmobi.test import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.api.scala._ import org.apache.flink.util.Collector import...原创 2019-08-07 17:31:14 · 2379 阅读 · 1 评论 -
flink boardCast--广播变量
Flink支持广播变量,就是将数据广播到具体的taskmanager上,数据存储在内存中,这样可以减缓大量的shuffle操作; 比如在数据join阶段,不可避免的就是大量的shuffle操作,我们可以把其中一个dataSet广播出去,一直加载到taskManager的内存中,可以直接在内存中拿数据,避免了大量的shuffle,导致集群性能下降; 注意:因为广播变量是要把dataset广播到内存中...原创 2019-08-15 18:56:37 · 395 阅读 · 0 评论 -
flink的streaming的helloword(wordcount)
所有的东西都是从helloword开始,大数据都是从wordcount开始的 直接上代码: package com.yeahmobi.test.stream import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flink.api.scala._ object WordCo...原创 2019-08-15 20:15:06 · 313 阅读 · 0 评论