- 博客(5)
- 收藏
- 关注
RSS订阅原创 Flink提交任务到yarn上启动踩坑（一）
在启动任务的时候报错如下：错误原因：必须-c在JAR文件之前指定参数，否则收到错误消息更改后的提交代码如下：./bin/flink run -m yarn-cluster -yqu info -yn 3 -c com.flink.dataset.WordCountTest /home/msns/wangyu/flink/flink_test_3.jar更改后正常运行如下：...
2019-01-25 11:30:49
5697
1
原创 运行Flink接受kafka数据踩坑（一）
运行程序的时候报错如下：Caused by: java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;)V错误的原因：Flink接受的kafka数据的Consumer的版本和kafka-client的版本不一致导致正确的配置如下：...
2019-01-24 15:44:36
9967
原创 Flink 分布式运行模式
分布式运行模式如下图： JobManagers（Master）: 主要的作用是管理tasks；安排checkpoint；失败以后重启 。 通常情况下只有一个JobManager，但是如果是需要其成为高可用的集群，可以配置多个JobManager，但是只有一个活跃的JobManager，其他的都是standby TaskManagers（worker）: 主...
2019-01-17 20:09:30
517
原创 Flink 编程模型
一、处理程序层次 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供不同级别的抽象API来处理应用程序： 一共包含有5种API:Process Function、DataStream API 、DataSet API 、Table API 、SQL 二、数据流 ...
2019-01-17 19:34:43
467
原创 Flink随笔一 书写wordCount
版本：Flink：1.7.0编码语言：java \ scalajava:1.8scala:2.11.7需要配置mavn：<flink.version>1.7.0</flink.version><!--使用java语言编写的时候用到的--><dependency> <groupId>org.apache.fl...
2018-12-28 14:50:29
169
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人