大数据
在搭建大数据项目中遇到的问题记录
茶故
挺好的。
展开
-
File is read-only:/var/lib/clickhouse/preprocessed_configs/config.xml
原因:rancher重启时,是先启动一个新的镜像,而clickhouse中该文件只允许一个进程使用,导致新镜像无法正常启动。解决:在rancher中,先将该服务pod杀掉,再新增,可正常启动。即将clickhouse的pod数改成0后再新增一个为1即可。原创 2023-02-17 16:56:41 · 306 阅读 · 0 评论 -
all replication slots are in use Hint: Free one or increase max_replication_slots.
提交flinksql作业(pgsql-cdc)时报错:all replication slots are in use Hint: Free one or increase max_replication_slots.进入服务器:输入lsblk,查看镜像,cd 镜像路径,进入镜像,找到pgsql安装目录。文中抛错为PSQLException, 考虑是pgsql数据库的配置问题。此时查看task-managers,发现slot并未使用完,仍有空闲。重启数据库,使用show all查询修改结果。原创 2022-12-21 10:19:23 · 663 阅读 · 0 评论 -
编译flink-cdc-connectors
在java中使用flink-cdc-connectors报错,“org.apache.flink.shaded.guava18.com.google.common.collect” 或是 “org.apache.flink.shaded.guava30.com.google.common.collect”。于是为了与使用的flink版本对应,下载源码编译,但是重新打包的过程中遇到了一些问题,记录如下:1.格式校验错误,spotless,pom文件中引入如下配置然后在maven中找到spotless:a原创 2022-06-13 21:26:09 · 2819 阅读 · 1 评论 -
FlinkCDC是否支持view同步
在flink官方文档中,只说明了如何使用查询创建视图,但是未标明是否可以直接同步源数据库中已经创建的视图表。flinkcdc文档中也未标明,是否可以同步view。尝试过一种方法:使用CDC正常建表语句,但是此表源表是视图,可执行成功,但是无数据。同时请教过大佬,视图无法使用流处理方式,只能通过批处理同步。我目前的解决方案:将视图涉及到的表,读取到flink中,然后再使用flinksql的creat view方式创建视图。原创 2022-12-19 13:44:06 · 499 阅读 · 0 评论