![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 67
大数据Flink相关
kiraraLou
这个作者很懒,什么都没留下…
展开
-
【Flink】记录Flink 任务单独设置配置文件而不使用集群默认配置的一次实践
我们的大数据环境是 CDP 环境。该环境已经默认添加了的客户端配置。我们的 Flink 任务类型是的任务。默认的配置文件是在目录下。如今我们的需求是个别任务提供的配置仅用于配置执行参数,例如影响作业的配置参数,而不是底层集群。那么我们改如何实现呢。原创 2024-01-25 13:27:14 · 912 阅读 · 0 评论 -
【flink】报错整理 Could not instantiate the executor. Make sure a planner module is on the classpath
Flink版本1.15.1scala版本2.12最近在学习Flink,在IDEA中调试Flinksql。原创 2022-07-29 15:39:17 · 9838 阅读 · 0 评论 -
【Kafka】flinkProducer kafka分区策略及kafka 默认分区策略
最近在学习 读写 , 突然想到如果 生产消息到,那么这条消息如何确定发往那个分区。顺便也回顾下 本身一个默认分区策略和生产策略这里整理并记录下。这里我们使用 来将数据写入到 Kafka,那么KafkaSink 是如何确定一条消息要发送到那个分区?默认的策略是什么?可以看到 只有 这一个默认的实现。相关的分区策略代码如下:可以看出 是根据运行子任务的并行度进行分区数的取余写入的。计算公式如下。2. null当我们代码指定分区策略为 时,那么肯定就会选用Kafka 本身默认的分区策略。我原创 2022-07-04 14:30:21 · 3524 阅读 · 3 评论 -
【Flink】Flink读写Kafka,及遇到的问题
Flink 读写Kafka demo,及遇到的问题 The transaction timeout is larger than the maximum value allowed by the broker原创 2022-07-04 11:17:36 · 824 阅读 · 0 评论 -
【Flink】CDH/CDP Flink on Yarn 日志配置
由于 应用程序大多是长时间运行的作业,因此 和 文件的大小很容易增长到数 GB,这可能会在您查看 上的内容时出现问题。这篇文章整理了如何为 启用 和 的滚动日志记录。这边文章为在 环境下的配置,并且这篇文章适用于 集群和 。 使用的默认日志是 Log4j,配置文件的如下:默认情况下, 没有配置滚动文件附加程序。进入 Cloudera Manager -> Flink -> Configuration -> Flink Client Advanced Configuration Snippe原创 2022-06-07 10:34:15 · 3165 阅读 · 3 评论