Flink
文章平均质量分 69
Raycee
这个作者很懒,什么都没留下…
展开
-
Flink实现外部模型预测遇到的问题
1. ‘float’ object has no attribute ‘encode’ File "/opt/anaconda3/lib/python3.6/site-packages/apache_beam/runners/worker/sdk_worker.py", line 289, in _execute response = task() File "/opt/anaconda3/lib/python3.6/site-packages/apache_beam/runners/wor原创 2022-02-16 16:14:07 · 1737 阅读 · 0 评论 -
Flink集成Hudi遇到的问题
1. NoSuchMethodError: io.javalin.core.CachedRequestWrapper.getContentLengthLong()Jjava.lang.NoSuchMethodError: io.javalin.core.CachedRequestWrapper.getContentLengthLong()J at io.javalin.core.CachedRequestWrapper.<init>(CachedRequestWrapper.kt:22)原创 2021-08-06 17:02:11 · 679 阅读 · 0 评论 -
何时以及如何在 Apache Flink 中使用 RocksDB 状态后端
何时以及如何在 Apache Flink 中使用 RocksDB 状态后端Flink中的状态什么是RocksDB?Flink中的RocksDB什么时候使用RocksDBStateBackend如何使用RocksDBStateBackend集群级别作业级别最佳实践和高级配置状态在RocksDB中的位置RocksDB故障诊断总结流处理应用程序通常是有状态的,“记住”已处理事件中的信息,并使用它来影响进一步的事件处理。在Flink中,记住的信息,即状态,被本地存储在配置的状态后端中。为了防止发生故障时丢失数据,翻译 2021-03-17 19:16:53 · 3047 阅读 · 4 评论 -
[漏洞预警]Apache Flink 高危漏洞预警(CVE-2020-17518 CVE-2020-17519)
2021年1月5日,Apache Flink官方发布安全更新,修复了由蚂蚁安全非攻实验室发现提交的2个高危漏洞:CVE-2020-17519:攻击者可通过REST API使用…/跳目录实现系统任意文件读取;CVE-2020-17518:通过构造恶意的http header,可实现远程文件写入。1. 漏洞描述Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。Flink 1.5.1引入了REST API,但其实现上存在多处缺陷,导致目录遍历原创 2021-01-07 16:43:06 · 1972 阅读 · 0 评论 -
Flink 1.10 发布到自建Maven仓库,报Could not transfer artifact 。。。
报错:[ERROR] Failed to execute goal org.apache.maven.plugins:maven-deploy-plugin:2.8.2:deploy (default-deploy) on project force-shading: Failed to deploy artifacts: Could not transfer artifact org.apac...原创 2020-03-03 12:12:45 · 1455 阅读 · 0 评论 -
Flink 1.10 编译报: unreported exception X; must be caught or declared to be thrown
jenkins上的jdk版本为jdk1.8.0_60,同事使用的是1.8.91都会报这个错,可能Flink使用的特性需要特定的小版本支持,测试过jdk1.8.0_141,1.8.221都可以。欢迎关注公众号:大数据开发者...原创 2020-03-03 12:03:36 · 2424 阅读 · 0 评论 -
IDEA升级到2019.3.1 编译Flink 1.10 Error:java: 无效的标记: --add-exports=java.base/sun.net.util=ALL-UNNAMED
解决办法:调出Maven侧边栏,取消勾选java11欢迎关注公众号:大数据开发者原创 2020-01-15 15:17:18 · 7561 阅读 · 4 评论 -
Flink线上问题: The assigned slot container_xxx was removed
Flink线上问题: The assigned slot container_xxx was removed客户现场使用Flink(on Yarn)进行数据抽取,Source是JDBC,Sink是Kafka,客户反映流程差不多跑10天左右就挂,让我看看.环境:Flink: 1.5.2jdk: 1.8.0_25Hadoop: 2.4.1jobmanger和TaskManger都分配1G内...原创 2019-12-27 14:19:06 · 5404 阅读 · 0 评论