- 博客(12)
- 收藏
- 关注
RSS订阅原创 将本地文件夹上传到远程仓库（git命令方式）
示例：git remote add origin git@github.com:username/repository.git， 远程仓库链接一般在相应仓库页面 Clone按钮，如下。如果远程仓库不为空，需要先将远程仓库内容拉取到本地仓库，再进行合并。
2024-06-29 12:07:59
164
原创 远程仓库MarkDown文档插入图片
也可以直接在.md文档显示图片，格式为 （例如远程仓库.md文档路径为http://github.hello.md, 图片路径为。2、在本地仓库相应.md文档插入远程仓库图片链接（快捷键Ctrl K），格式为： [图片名称](远程仓库图片链接)http://github.photo, 则可以表示为：!1、在本地仓库创建文件夹，将图片放入文件夹，并上传到远程仓库。通过上面三个步骤，即可在本地仓库和远程仓库插入图片链接。3、将本地仓库.md文档推送到远程仓库。
2024-06-06 17:37:12
138
原创 数据仓库数据去重，确保数据迁移过程不产生重复数据
3、删除目标表中与新插入数据主键相等的数据 （delete from sink_table a using source_table b where a.id = b.id）1、对目标表按某列或某几列进行去重（只需执行一次）3、即将插入的数据与目标表数据之间无重复。2、对新插入的数据设置主键。2、即将插入的数据无重复。1、目标表数据无重复。
2024-05-16 11:11:04
175
原创 ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.c
Kafka配置文件中的broker.id与meta.properties文件中的broker.id不一致。The Cluster ID wJiptZWrTIuLNHyEOa0mSA doesn't match stored clusterId Some(hrHwEwFSRzCsHjuj4pjMXg) in meta.properties
2024-04-16 20:58:21
1860
原创 记录一次finksql与kafka连接错误：Caused by: java.io.InvalidClassException
从错误日志可以看出是序列化与反序列化过程出现了错误，查阅很多资料，一般是flink与jar包：flink-sql-connector-kafka***.jar 版本不兼容。后面我又重启虚拟机，重启flinksql都无法解决上述问题，最后猜测应该是自己在flink/lib目录下导入其他jar包产生冲突。重启yarn-session,重启flinksql，接下来进行flinksql与kafka连接时，没有出现上述错误。对于进一步的错误探索，本人还不是很清楚，有进展会第一时间更新。
2024-04-03 19:57:45
307
2
原创 MaxWell启动失败、启动后自动挂断简单解决方案
MaxWell由于版本较早，确实维护。很容易出现启动失败、连接异常等方面的问题，解决思路也很简单粗暴。
2024-03-07 20:03:48
1233
1
原创 记录一次部署GitLab之后，Kafka无法启动的问题
通过 lsof -i :9999 命令，查看是哪个进程占用了9999节点。发现没有内容输出，在命令前加sudo, 即 sudo lsof -i :9999。某一天，我发现Kafka集群某个节点Kafka始终无法启动。首先去看日志查看报错情况。发现9999端口被占用。发现是GitLab占用了9999节点。通过查阅资料，找到gitlab配置文件路径。打开配置文件，修改端口号。发现GitLab和Kafka都能正常使用。我这里将9999更改为了9099。
2024-03-07 08:44:47
351
1
原创 已解决：无效的目标发行版11（最全面）
在idea运行Java代码时，偶尔会遇到“无效的目标发行版11” 或 “原发行版11， 需要目标发行版11”的异常。具体原因是笔者的编译环境为jdk8， 而运行环境为11. 查阅诸多资料，以及自身的探索，现附上最全版解决方法（某些设置可能不影响）
2023-09-10 10:50:25
7149
9
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人