![](https://img-blog.csdnimg.cn/2020060611585166.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink
flink
BF-LoneSilverWind
睿智 灵动 从容 淡定
展开
-
Flink 分布式缓存 代码
DistributeCacheTest.javapackage com.xxxxx.flink.batch;import org.apache.commons.io.FileUtils;import org.apache.flink.api.common.functions.RichMapFunction;import org.apache.flink.api.java.Executio...原创 2020-01-17 09:38:17 · 212 阅读 · 0 评论 -
Flink累加器 代码
AccumulatorTest.javapackage com.xxxxx.flink.batch;import org.apache.flink.api.common.JobExecutionResult;import org.apache.flink.api.common.accumulators.IntCounter;import org.apache.flink.api.comm...原创 2020-01-17 09:35:37 · 206 阅读 · 0 评论 -
Flink 广播变量Broadcast 代码
package com.xxxxx.flink.batch;import org.apache.flink.api.common.functions.RichFilterFunction;import org.apache.flink.api.java.ExecutionEnvironment;import org.apache.flink.api.java.operators.DataS...原创 2020-01-17 09:31:56 · 343 阅读 · 0 评论 -
Flink 整理
------概括1个低延迟,高吞吐,统一的大数据计算引擎达到毫秒级延迟金融级的数据处理能力因为:Flink提供了一个Exactly-once(只执行一次)的一致性语义。保证了数据的正确性。flink还提供很多高级的功能。比如它提供了有状态的计算,支持状态管理,支持强一致性的数据语义以及支持Event Time,WaterMark对消息乱序的处理。------大数据计算引擎...原创 2020-01-16 21:26:57 · 238 阅读 · 0 评论 -
Flink的 standalone环境 & Yarn环境搭建
standalone1.基本操作解压flinktar -zxvf flink-1.7.1-bin-hadoop26-scala_2.11.tgz移动到指定目录mv flink-1.7.1 /opt/sxt/如上图所示 flink权限需要修改修改所属人/组 chown root:root -R flink-1.7.1/修改权限 chmod 755 -R flink-1....原创 2020-01-16 09:08:12 · 558 阅读 · 0 评论 -
控制台 Job execution failed 报错
Exception in thread “main” org.apache.flink.runtime.client.JobExecutionException: Job execution failed.原因原因:代码中使用了socket作为DataSource,如果socket监听的端口没有nc -lk 9999,就会报错9999端口是代码中指定的解决在节点中开启端口即可nc ...原创 2020-01-15 10:30:05 · 4147 阅读 · 1 评论