- 博客(12)
- 收藏
- 关注
原创 将本地文件夹上传到远程仓库(git命令方式)
示例:git remote add origin git@github.com:username/repository.git, 远程仓库链接一般在相应仓库页面 Clone按钮,如下。如果远程仓库不为空,需要先将远程仓库内容拉取到本地仓库,再进行合并。
2024-06-29 12:07:59
164
原创 远程仓库MarkDown文档插入图片
也可以直接在.md文档显示图片,格式为![](远程git仓库图片相对路径) (例如远程仓库.md文档路径为http://github.hello.md, 图片路径为。2、在本地仓库相应.md文档插入远程仓库图片链接(快捷键Ctrl K),格式为: [图片名称](远程仓库图片链接)http://github.photo, 则可以表示为:!1、在本地仓库创建文件夹,将图片放入文件夹,并上传到远程仓库。通过上面三个步骤,即可在本地仓库和远程仓库插入图片链接。3、将本地仓库.md文档推送到远程仓库。
2024-06-06 17:37:12
138
原创 数据仓库数据去重,确保数据迁移过程不产生重复数据
3、删除目标表中与新插入数据主键相等的数据 (delete from sink_table a using source_table b where a.id = b.id)1、对目标表按某列或某几列进行去重(只需执行一次)3、即将插入的数据与目标表数据之间无重复。2、对新插入的数据设置主键。2、即将插入的数据无重复。1、目标表数据无重复。
2024-05-16 11:11:04
175
原创 ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.c
Kafka配置文件中的broker.id与meta.properties文件中的broker.id不一致。The Cluster ID wJiptZWrTIuLNHyEOa0mSA doesn't match stored clusterId Some(hrHwEwFSRzCsHjuj4pjMXg) in meta.properties
2024-04-16 20:58:21
1860
原创 记录一次finksql与kafka连接错误:Caused by: java.io.InvalidClassException
从错误日志可以看出是序列化与反序列化过程出现了错误,查阅很多资料,一般是flink与jar包:flink-sql-connector-kafka***.jar 版本不兼容。后面我又重启虚拟机,重启flinksql都无法解决上述问题,最后猜测应该是自己在flink/lib目录下导入其他jar包产生冲突。重启yarn-session,重启flinksql,接下来进行flinksql与kafka连接时,没有出现上述错误。对于进一步的错误探索,本人还不是很清楚,有进展会第一时间更新。
2024-04-03 19:57:45
307
2
原创 MaxWell启动失败、启动后自动挂断简单解决方案
MaxWell由于版本较早,确实维护。很容易出现启动失败、连接异常等方面的问题,解决思路也很简单粗暴。
2024-03-07 20:03:48
1233
1
原创 记录一次部署GitLab之后,Kafka无法启动的问题
通过 lsof -i :9999 命令,查看是哪个进程占用了9999节点。发现没有内容输出,在命令前加sudo, 即 sudo lsof -i :9999。某一天,我发现Kafka集群某个节点Kafka始终无法启动。首先去看日志查看报错情况。发现9999端口被占用。发现是GitLab占用了9999节点。通过查阅资料,找到gitlab配置文件路径。打开配置文件,修改端口号。发现GitLab和Kafka都能正常使用。我这里将9999更改为了9099。
2024-03-07 08:44:47
351
1
原创 已解决:无效的目标发行版11(最全面)
在idea运行Java代码时,偶尔会遇到“无效的目标发行版11” 或 “原发行版11, 需要目标发行版11”的异常。具体原因是笔者的编译环境为jdk8, 而运行环境为11. 查阅诸多资料,以及自身的探索,现附上最全版解决方法(某些设置可能不影响)
2023-09-10 10:50:25
7149
9
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人