Flink web.upload.dir

最新推荐文章于 2023-01-14 18:18:26 发布
最新推荐文章于 2023-01-14 18:18:26 发布
阅读量3k 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tom_fans/article/details/89281795
版权

好像很少有人谈论这个参数，基本被忽略了，这个参数是Flink少数不能设置为HDFS的参数，默认的web.upload.dir是在web.tmpdir目录下。以下是官方给出的2个参数的含义：

web.tmpdir
System.getProperty("java.io.tmpdir")	Flink web directory which is used by the webmonitor.
web.upload.dir
(none)	Directory for uploading the job jars. If not specified a dynamic directory will be used under the directory specified by JOB_MANAGER_WEB_TMPDIR_KEY.

放在tmp目录先肯定是有问题，一旦机器重启，可能所有上传的包都丢失了。你可能会修改这个参数为一个永久目录，即使如此还是有问题，今天就是谈论这个问题。

web.upload.dir既然不是HDFS共享目录，那就肯定是本地目录了，这个本地目录根据你的job manager是哪一台机器，就上传到哪一台机器的web.upload.dir. 

按照上面的推测，一旦发生job manager切换，那之前你上传的包，在新的job manager上是看不到的。这可不是我们想要看到的结果。如果你使用的是yarn-session.sh启动模式，所有的node manager都有可能是job manager. 如果你用standalone HA同样道理，一旦切换上传的包就看不到了。

解决这个问题用NFS比较好，这样所有的job maanager挂载这个目录，不管你怎么切换，都能看到web.upload.dir里的包。

tom_fans
关注
【Flink】Flink on Yarn 翻译 使用 hdfs jar yarn.provided.lib.dirs
九师兄
09-19 994
看这个起源于一个群友的问题。群友写了UDF.jar想放到hdfs上，然后运行的时候，希望指定hdfs jar，希望能加载进去尝试使用如下方法发现不可以后面经过网友一起讨论，发现有这个参数。然后我在源码中找到如下案例顺便把整篇文章翻译了一下。
Flink读取文件目录问题解决方案,目录下的文件在上传中产生的临时文件报错等问题
weixin_42492886的博客
11-23 2093
Flink读取文件目录： 因为目录下的文件可能会不断新增，在新增过程中文件处于传输阶段 会出现比如01.data文件正在上传，在hdfs中显示的是01.data._COPYING_文件，只有真正上传完成后才能读取，而不设置过滤器的话就会报错，会提示._COPYING_文件不存在，所以像这样的临时文件需要我们过滤掉, 目前默认过滤器已经满足了我们的需求：方案如下 /** * 2.流处理: 监听并读取hdfs文件夹目录下的所有文件 * * @throws Exception
记一次WebUploader的使用
hnxydq的专栏
03-27 1万+
WebUploader是百度开源的一个文件上传组件，因为其操作简洁大方，就在项目中使用了，记录一下。 效果是这样子： 这个样子是默认的效果。 这个是选择上传的图片，可以批量，选择后可以删除和添加更多。 这个是上传过程显示的效果。<div id="container" style="background-color: #F7F7F7;"> <!--头部，相册选择和格式选择-->
Flink JAR包上传和运行逻辑
石权的博客
02-08 1万+
文章目录说明启动ResetServer注册HandlerUpload JARRun Jar生成JobGraph的过程调用用户程序main方法执行用户程序main方法执行execute （和接触过一个概念很类似-打桩测试）提交JobGraphExectionGraph Deploy的过程 说明 目标：走读Flink Clint中Upload jar、Run jar相关代码 源码版本：1.6.1 部...
sUploadDir
小蚍蜉
05-16 1308
sUploadDir变量是上传的路径,默认为/UploadFile/,我现在改为/news/pic/200612/11/下,上传没发现问题,不过上传得2-4秒(因为是本机所以不可能这么慢),如果改成/news/就非常的快,都弄一下午了,还是没有发现问题,希望有人帮助,谢谢! 下面是upload.jsp(不是我写的,是网上找的,不过问题就是在这里)  <%! //
Flink上传文件到Oss
melanieyu573的博客
01-14 629
Flink输出到Oss，Flink写Oss
Flink配置记录
日三醒而智明
06-16 365
jobmanager.memory.process.size: 2g taskmanager.memory.process.size: 12g io.tmp.dirs:/data/flink/tmp (默认系统属性java.io.tmpdir配置) web.upload.dir: /data/flink/jar (默认包上传路径) taskmanager.numberOfTaskSlots: 4 parallelism.default: 1 state.backend: rocksdb state.c
Flink调度
u013939918的博客
06-30 854
从提交来一步一步分析，本文源码基于Apache社区 1.8-release 版本 REST提交作业流程： 1.集群启动后 通过 /jars/upload 向集群提交可执行jar文件 2.通过 /jars/:jarid/run 来启动一个job 1.构建并提交JobGraph 我们直接找到WebSubmissionExtension这个类，在StandaloneSession 集群模式下集群初始化DispatcherRestEndpoint的时候会从WebSubmissionExtension里加载
flink-conf.yaml配置解析
yjh1271845364的博客
01-27 7243
################################################################################ #  Licensed to the Apache Software Foundation (ASF) under one #  or more contributor license agreements.  See the NOTIC...
Apache Flink 文件上传漏洞 CVE-2020-17518 漏洞复现
Senimo
07-28 1893
Apache Flink 文件上传漏洞 CVE-2020-17518 漏洞复现一、漏洞描述二、漏洞影响三、漏洞复现1、环境搭建2、漏洞复现四、漏洞POC五、参考链接 一、漏洞描述 ApacheFlink是一个开源的流处理框架，具有强大的流处理和批处理功能。 ApacheFlink 1.5.1 引入了 REST 处理程序，允许您通过恶意修改的 HTTP 头将上载的文件写入本地文件系统上的任意位置。 二、漏洞影响 1.5.1 < ApacheFlink < 1.11.2 三、漏洞复现 1、环境搭建
【flink】上传jar并执行
叁滴水 的博客
01-13 1万+
过idea编写flink工程，并且导出可执行jar,上传到flink执行的过程，请大家参考。
HDFS上传文件
杨煜冬煜杨的博客
06-07 331
http://blog.csdn.net/Kinger0/article/details/44872903
文件上传
m0_46184322的博客
10-13 175
pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/ma.
Web页面上传文件至HDFS
weixin_45506408的博客
07-19 1730
前端代码： <form action="/项目名/homepage/uploadFile" method="post" enctype="multipart/form-data"> <input type="file" name="file"> <input type="submit" value="上传"> </form> 后端代码： public void uploadFile(HttpServletRequest req
flink配置webui上传jar包保存路径
记录日常开发过程中遇到的一些问题
09-29 4052
默认上传的jar包存放路径：Job Manager --> Configuration --> web.tmpdir web.tmpdir配置的上传路径，重启后上传包就会被删除。 解决办法： 在flink-conf.yaml文件里，加上如下2个配置：
docker-compose部署flink集群，外部挂载flink配置
半岛落枫的博客
03-13 3819
flink集群部署 拉取flink镜像 docker pull flink 自定义创建目录（例如/usr/local/flink/flink-docker） mdkir /usr/local/flink/flink-docker 在上述目录，创建文件docker-compose.yml version: "2.1" services: jobmanager: image: flink expose: - "6123" ports: - "8
如何上传文件到hdfs？
热门推荐
努力变得不菜的菜鸡的博客
08-08 2万+
是在学习sparkml的时候，产生了 hadf上没有数据文件的错误，如下图： 发现错误之后，决定按照文件夹，上传文件到hdfs上。 打开hadoop 所在的文件目录 查看当前目录信息 hdfs dfs -ls / 运行后产生下面的效果： 3 在hdfs上创建新的文件夹 这里创建的为aaa hdfs dfs -mkdir /aaa 4 在本地创建一个新的文件夹 这里创建的为aaa， 建...
Flink上传集群报错可能的原因
weixin_45316851的博客
04-03 2090
原因一：版本问题 查看pom文件中的依赖版本是否与集群一致，不一致可能报错！ org.apache.flink.client.program.ProgramInvocationException: Job failed. (JobID: 47e155c0fadbbb11c20c3b8d00bdcef8) at org.apache.flink.client.program.rest...
flink 使用 .so 详细教程
最新发布
04-04
Flink 使用 .so（Shared Object）文件是一种将本地代码集成到 Flink 程序中的方式，因为 Flink 本身是 Java 程序，无法直接调用本地方法。本文将介绍如何在 Flink 中使用 .so 文件。 ## 1. 编写 C++ 代码并生成 .so 文件 首先，我们需要编写 C++ 代码并将其编译成 .so 文件。假设我们要编写一个简单的 C++ 程序，实现两个数相加的功能： ```c++ #include <iostream> using namespace std; extern "C" { int add(int a, int b) { return a + b; } } ``` 此处我们使用了 `extern "C"` 声明，表示使用 C 语言的函数名命名规则，这样就可以在 Java 中通过 JNI 调用该函数。 接下来，我们需要编译生成 .so 文件。这里以 Linux 系统为例，使用以下命令编译： ``` g++ -shared -fPIC add.cpp -o libadd.so ``` 其中，`-shared` 表示生成共享库；`-fPIC` 表示编译成位置独立的代码，方便在不同的进程中共享；`add.cpp` 是我们编写的 C++ 代码文件名；`libadd.so` 是生成的 .so 文件名。 ## 2. 将 .so 文件放入 Flink 项目中 将生成的 .so 文件放入 Flink 项目的某个目录中，例如 `src/main/resources` 目录下。 ## 3. 使用 JNA 调用 .so 文件 接下来，我们需要使用 JNA（Java Native Access）库来调用 .so 文件中的函数。JNA 是一个 Java 库，它允许 Java 代码调用本地（非 Java）方法和库。 首先，在 Flink 项目中添加 JNA 依赖： ```xml <dependency> <groupId>net.java.dev.jna</groupId> <artifactId>jna</artifactId> <version>5.6.0</version> </dependency> ``` 然后，在 Flink 程序中使用 JNA 调用 .so 文件中的函数： ```java import com.sun.jna.Library; import com.sun.jna.Native; public class NativeAdd { public interface Add extends Library { int add(int a, int b); } public static void main(String[] args) { Add add = Native.load("add", Add.class); System.out.println(add.add(1, 2)); } } ``` 代码中，我们定义了一个 `Add` 接口，继承自 `Library` 接口，其中定义了 `add` 方法，用于调用 .so 文件中的 `add` 函数。 `Native.load("add", Add.class)` 方法加载 .so 文件，并返回一个 `Add` 接口的实现类。然后，我们就可以使用该实现类的 `add` 方法调用 .so 文件中的 `add` 函数。 ## 4. 在 Flink 任务中使用 .so 文件 最后，我们可以在 Flink 任务中使用 .so 文件了。假设我们的 Flink 任务需要计算两个数的和，我们可以将上面的 `NativeAdd` 类的代码稍作修改，变成以下形式： ```java import com.sun.jna.Library; import com.sun.jna.Native; public class NativeAdd implements MapFunction<Tuple2<Integer, Integer>, Integer> { public interface Add extends Library { int add(int a, int b); } @Override public Integer map(Tuple2<Integer, Integer> value) throws Exception { Add add = Native.load("add", Add.class); return add.add(value.f0, value.f1); } } ``` 在 Flink 任务中，我们实现了 `MapFunction` 接口，并重写了 `map` 方法。在 `map` 方法中，我们加载 .so 文件，并调用其中的 `add` 函数计算两个数的和。 以上就是使用 .so 文件的详细教程。需要注意的是，在使用 .so 文件时，需要保证 .so 文件与运行 Flink 程序的操作系统和 CPU 架构一致。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tom_fans

谢谢打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值