赶路人儿

在yarn集群上启动一个flink任务，抛出如下异常：任务虽然可以正常运行，但是为了安全，还是google了一下这个错误，发现官方issue：https://issues.apache.org/jira/browse/FLINK-19916 This is because Hadoop 3 starts asynchronous threads to execute some shutdown hooks.These hooks are run after the job is executed,

val bsEnv = StreamExecutionEnvironment.getExecutionEnvironmentEnv.setRestartStrategy(RestartStrategies.noRestart())val consumerProps = new Properties()consumerProps.put("bootstrap.servers", brokers)consumerProps.put("group.id", "test1234")val consum.

在cdh集群上，通过如下命令，提交flink任务到yarn集群中：flink run -m yarn-cluster -d -ynm my_flink_job xxx.jar报错，信息如下：org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Could not deploy Yarn job cluster.Caused by: org.apache.fl

在cdh集群上跑了一个flink的wordcount代码，报如下错误：Checking existing jobs...Waiting for response...No running jobs.No scheduled jobs.Submitting job.../opt/flink/bin/flink run --jobmanager flinkjobcluster-sample-jobmanager:8081 --class org.apache.flink.examples.ja

前两天运到一个问题：standalone版本的flink，重启后，还没有运行任务，查看jobmanagement的日志，发现一直报如下错误。2020-06-30 08:42:27,829 ERROR org.apache.flink.runtime.rest.handler.taskmanager.TaskManagerDetailsHandler - Unhandled exception.org.apache.flink.runtime.resourcemanager.exceptions..

问题Flink 1.11 开始报错如下：Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:

本地开发的flink任务放到服务器集群上运行，报java.lang.NoSuchMethodError，最终发现是flink的一个bug。

一、restart策略Flink在任务失败恢复重启时支持多种重启策略，同时配置支持两个级别，可以通过设置flink全局配置文件flink-conf.yaml来指定全局重启策略，也可以通过编程的方式指定单个job的重启策略，极端情况下可以为每一个任务都指定一个重启策略；一般情况下，编程方式指定的单个job重启策略会将全局策略覆盖。在检查点机制未开启的情况下，flink默认会采取No Restart Strategy策略，即失败不重启；在检查点机制开启状态下，默认会采取Fixed Delay Resta

前面一篇文章中，介绍过如何使用flink，消费kafka数据，并且将数据以parquet格式sink到hdfs上，并且sink的时候使用了天、小时的方式进行了分桶策略。详情见：https://blog.csdn.net/liuxiao723846/article/details/107695737最终，在hdfs上形成了如下的文件：/data/test/dt=2020-08-07 -hour=00 -part-0-0 -part-0-1 -hour=01 -part-0-0

首先打开Flink的官方网站，查看一下DataSet已支持的数据源：1、File-Based：readTextFile(path) / TextInputFormat - Reads files line wise and returns them as Strings.readTextFileWithValue(path) / TextValueInputFormat - Reads files line wise and returns them as StringValues. Strin

Flink目前对于外部Exactly-Once写支持提供了两种的sink，一个是Kafka-Sink，另一个是Hdfs-Sink，这两种sink实现的Exactly-Once都是基于Flink checkpoint提供的hook来实现的两阶段提交模式来保证的，主要应用在实时数仓、topic拆分、基于小时分析处理等场景下。本篇将会介绍StreamingFileSink的基本用法、如何压缩数据以及合并产生的小文件。一、基本用法StreamingFileSink提供了基于行、列两种文件写入格式，用法：

参考：

在flink1.3.2及一下版本中有一个bug，导致吧cpu打满，从而会影响node manager上其他task的正常运行。官方链接说明：https://issues.apache.org/jira/browse/FLINK-7368看了以后，是由于MetricStore中使用hashmap，在多线程下出现死循环，导致cpu被打满。升级到1.4.2及以上版本就可以解决。升级过程中的注意事...