一、Flink入门--debug设置&example运行

最新推荐文章于 2024-08-18 22:16:18 发布

灰二和杉菜

最新推荐文章于 2024-08-18 22:16:18 发布

阅读量7.7k

点赞数 1

分类专栏： Apache Flink 文章标签： flink

本文链接：https://blog.csdn.net/qq475781638/article/details/90260202

版权

本文档详细介绍了如何从源码下载、编译Flink，解决编译过程中遇到的问题，如安装maprfs和kafka包到本地Maven仓库。接着，它讲解了在IDEA中配置Remote Debug，包括JobManager和TaskManager的设置，并指导在flink-conf.yaml中进行相应配置。然后，通过创建一个简单的Flink Kafka WordCount程序，展示了如何打包并提交任务，最后提醒可以通过WebUI查看任务状态，但省略了Kafka集群的搭建和producer部分。

摘要由CSDN通过智能技术生成

文章目录

1.源码下载&编译

在GitHub 下载源码并编译：

git clone git@github.com:apache/flink.git
git checkout release-1.6.3

编译命令：

 mvn clean install -DskipTests -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true

编译报错1：

Could not find artifact com.mapr.hadoop:maprfs:jar:5.2.1-mapr in nexus-osc (http://maven.aliyun.com/nexus/content/repositories/central)

解决办法：则手动安装maprfs的包到本地maven私服，命令如下：

1.下载
下载jar包 https://repository.mapr.com/nexus/content/groups/mapr-public/com/mapr/hadoop/maprfs/5.2.1-mapr/maprfs-5.2.1-mapr.jar 到 /Users/liyuhuan/downloads
2.安装
mvn install:install-file -DgroupId=com.mapr.hadoop -DartifactId=maprfs -Dversion=5.2.1-mapr -Dpackaging=jar  -Dfile=/Users/liyuhuan/downloads/maprfs-5.2.1-mapr.jar

编译报错2

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project flink-mapr-fs: Compilation failure: Compilation failure:
[ERROR] /Users/liyuhuan/code/flink/flink-filesystems/flink-mapr-fs/src/main/java/org/apache/flink/runtime/fs/maprfs/MapRFileSystem.java:[70,44] 程序包org.apache.hadoop.fs不存在
[ERROR] /Users/liyuhuan/code/flink/flink-filesystems/flink-mapr-fs/src/main/java/org/apache/flink/runtime/fs/maprfs/MapRFileSystem.java:[73,45] 找不到符号
[ERROR]   符号:   类 Configuration
[ERROR]   位置: 程序包 org.apache.hadoop.conf
[ERROR] /Users/liy