Flink
威尼斯的星期天
Console.log('♚')
展开
-
flink on yarn使用第三方jars的方法&如何查看进程所持有jar包
前言在yarn上跑的程序必须拥有代码,环境,配置。flink on yarn模式,用户提交完jar以后,通过yarn调度队列,任务jar会被分配到某个节点,连同配置,环境,一起被分发到某个Task节点。flink run 命令参数详情1 参数必选 : -n,--container <arg> 分配多少个yarn容器 (=taskmanager的数量) 2 参数可选 : -D <arg> 动态属性原创 2021-01-08 23:29:01 · 4046 阅读 · 0 评论 -
Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde in nexus-aliyun
原因mvn配置文件中指定的镜像仓库中没有对应的jar包,后来百度了很多包括google,github上看了很多解决办法以后才知道,原来这个jar是在spring插件仓库里。所以有了后面的对mvn配置文件修改。解决办法<mirror> <id>aliyunmaven</id> <mirrorOf>*</mirrorOf> <name>阿里云spring插件仓库</name> <url>http原创 2020-10-22 15:44:04 · 7863 阅读 · 5 评论 -
Flink1.11.2-scala 2.12.12 & No implicits found for parameter evidence$12
原因当前环境之下找到不到scala的包解决办法引入包import org.apache.flink.api.scala._原创 2020-10-22 12:56:46 · 430 阅读 · 0 评论 -
idea使用maven快速构建flink骨架项目
Scala版Flink程序编写本项目使用的Flink版本为最新版本,也就是1.11.2。现在提供maven项目的配置文件。使用Intellij IDEA创建一个Maven新项目勾选Create from archetype,然后点击Add Archetype按钮GroupId中输入org.apache.flink,ArtifactId中输入flink-quickstart-scala,Version中输入1.11.2,然后点击OK点击向右箭头,出现下拉列表,选中flink-quickstart-s原创 2020-10-22 12:54:23 · 1558 阅读 · 0 评论 -
flink中kafkasource并行度大于kafka分区数设置并行度问题
面试题kafka分区数5,flinksource并行度设置6。如何设置水位线才能使下游窗口触发计算!回答flink官方文档flink通过一个idel标志位标记channel,所以下游知道哪些channel是没有event的,最后去watermark就不会管那个有idel标记的空channel...原创 2020-10-21 19:21:25 · 3030 阅读 · 2 评论 -
java.lang.ClassNotFoundException: org.apache.flink.api.common.typeinfo.TypeInformation
参考链接问题解决办法在idea中勾选一个选项原因编译部署的时候没有将依赖全部导入,因为本人用的是快速原型导入的maven,里面scope好多是provided的,这样导致依赖在编译的时候无法全部加载,生产环境的话如果已经装好了环境,那么这个在生产上跑是没问题的,但是调试的时候需要将这个勾选,否则会报错!...原创 2020-06-08 13:05:42 · 6879 阅读 · 0 评论