flink
诸葛余
这个作者很懒,什么都没留下…
展开
-
Flink算子调用C语言.so文件
public interface Clibrary extends Library{// String path = Thread.currentThread().getContextClassLoader().getResource("sayhello").getPath(); Clibrary INSTANCE = (Clibrary) Native.loadLibrary("sayhello", Clibrary.class); int sayHello(); int add(int a,.原创 2021-03-23 17:26:30 · 1047 阅读 · 1 评论 -
FlinkSql配置Kerberos环境下的Kafka Source&Sink
1、配置flink-conf.yaml配置文件,将kerberos相关配置放开security.kerberos.login.use-ticket-cache: truesecurity.kerberos.login.keytab: /path/to/kerberos/keytabsecurity.kerberos.login.principal: flink-user# The configuration below defines which JAAS login contextsse原创 2021-03-19 10:14:39 · 2600 阅读 · 7 评论 -
Flink 1.11.1 No ExecutorFactory found to execute the application
Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application.需要引入依赖:<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-clients_2.11</artifactId>原创 2021-01-04 20:29:14 · 146 阅读 · 0 评论 -
Scala与Java的关系
1、Scala语言诞生的小故事 Scala创始人马丁·奥德斯基(Martin Odersky)是编译器及编程的狂热爱好者,长时间的编程之后,希望发明一种语言,能够让写程序这样的基础工作变得高效,简单。所以当接触到JAVA语言后,对JAVA这门便携式,运行在网络,且存在垃圾回收的语言产生了极大的兴趣,所以决定将函数式编程语言的特点融合到JAVA中,由此发明了两种语言(Pizza&Scala) Pizza和Scala极大地推动了Java编程语言的发展。 jdk5.0的泛型,for循环...原创 2020-12-31 21:50:51 · 1856 阅读 · 0 评论 -
flink on yarn 提交运行could not find a file system implementation for scheme ‘hdfs‘问题解决
12:50:44,201 WARN org.apache.flink.configuration.GlobalConfiguration - Error while trying to split key and value in configuration file /yarn/nm/usercache/root/appcache/application_1602660926640_0023/container_1602660926640_0023_01_000001/flink.原创 2020-10-31 12:14:58 · 2905 阅读 · 0 评论 -
FlinkSql on yarn 提交踩坑记录
FlinkSql on yarn 提交踩坑记录 最近需要实现一个flinksql执行引擎,实现前台只需关注sql编写,后台自动提交flinksql到yarn集群中,由于初次接触flinksql,对flinksql研究不深,在实现过程中遇到很多问题。其中一个问题研究了挺长时间,相信很多初次玩flinksql的朋友们也会遇到这个问题,所以在这里分享一下问题的解决方法。 我是在本地跑通了flinksql的kafk...原创 2020-08-01 22:17:33 · 3843 阅读 · 3 评论