【Flink】批处理HDFS文件（带完整源码，直接可使用）

一杯咖啡半杯糖

已于 2022-12-07 17:01:36 修改

阅读量2.2k

点赞数

分类专栏： Flink实战 Flink解决方案文章标签：大数据 flink

于 2022-12-01 10:26:19 首次发布

本文链接：https://blog.csdn.net/sinat_23225111/article/details/128127072

版权

Flink实战同时被 2 个专栏收录

95 篇文章 136 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

Flink解决方案

8 篇文章 15 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

这篇博客详述了如何使用Flink 1.13.6进行批处理，包括提交到YARN执行、读取HDFS文件。提供了完整的源码、编译截图、Linux提交命令、可能遇到的问题及解决办法，以及执行结果展示。同时，分享了HDFS文件创建、上传和权限设置的步骤。源码链接已给出。

摘要由CSDN通过智能技术生成

简介：

本博客基于1.13.6版本Flink，实现批处理提交到yarn执行，并实现读取HDFS上文件实现批处理，有完整的Flink代码，已完成编译，开箱简单修改即可用，避免了大家编程、编译、提交yarn上的一些错误。

本工程提供

1、项目源码及详细注释，简单修改即可用在实际生产代码

2、成功编译截图

3、linux提交命令

4、提交到yarn上截图

5、自己编译过程中可能出现的问题

6、执行结果

成功编译成功信息如下

[INFO] --- maven-surefire-plugin:2.12.4:test (default-test) @ flink-batch ---
[INFO] No tests to run.
[INFO]
[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ flink-batch ---
[INFO] Building jar: D:\flink\flink-batch\target\flink-batch-1.0-SNAPSHOT.jar
[INFO]
[INFO] --- maven-assembly-plugin:3.0.0:single (make-assembly) @ flink-batch ---
[INFO] Building jar: D:\flink\