![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 65
龙龍隆隆
三人行必有我师焉。
展开
-
PowerDesigner 从PG(postgresql)导出模型无法解析字段信息
快速实现利用PowerDesigner从pg数据库方向生成数据模型原创 2023-11-29 10:21:13 · 349 阅读 · 0 评论 -
kafka-consumer-group Group xxx with protocol type ‘‘ is not a valid consumer group
如题,很多同学应该都遇到过,执行kafka-consumer-group的时候,无法查看消费者组消费情况。{$KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group flink-consumer-groupError while executing consumer group command Group flink-consumer-gro原创 2022-03-31 22:17:38 · 2284 阅读 · 0 评论 -
flink 使用StreamingFileSink 报错:Recoverable writers on Hadoop are only supported for HDFS a
如题,flink在使用StreamingFileSink是报错:java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS and for Hadoop version 2.7 or newer。出现以上问题是因为flink-hadoop的驱动包版本太低。替换掉flink lib目录下面的flink-shaded-hadoop-2-uber-*.jar。选择版本大于2原创 2022-03-25 17:29:34 · 2861 阅读 · 0 评论 -
Flink中使用spring-data-redis + lettuce作为redis驱动链接
如题,最近在开发flink项目。项目中使用到redis作为中间缓存,但是非使用FlinkRedisSink。考虑到之前spring-data-redis中已经封装了比较全面的操作,故引入了spring-data-redis。开始使用的是spring-data-redis+jedis,但是发现单纯的获取数据就需要耗费二十多毫秒。因此想把jedis换成lettuce。 原本以为很简单的事情,没想到上flink on yarn 环境之后,一直报错类型转换错误:io.netty.c...原创 2021-08-04 11:27:25 · 1356 阅读 · 2 评论 -
flink on yarn应用常见问题记录及解决方案
近期由于工作原因,碰巧使用到了flink+kafka+hdfs+kerberos流式计算。一路走来,崎岖坎坷,满是荆棘。以此文记录一下学习实践经历。若能为各位后来者提供帮助,实乃我幸!原创 2021-06-01 20:53:23 · 2069 阅读 · 8 评论