- 博客(5)
- 收藏
- 关注
原创 spark sql 导出数据到kafka报错解决
这个错原因是缺少spark-sql-kafka-0-10_2.11-2.4.5.jar依赖。查看spark目录下,没有kafka-clientsjar包。在提交命令中加入kafka-clients依赖包就好。下载jar包,放到服务器上,在提交命令中加入。
2022-07-23 17:57:58
3114
原创 Mac m1 max 工具安装及简介
此文章主要是针对于开发环境的安装,对于不同工具(jdk,scala,git,SVN,Maven,idea,pycharm,MySQL,Redis,iterm2,homebrew)的安装过程做一个总结。
2022-07-23 17:36:38
620
原创 Redis
文章主要总结了redis的一些应用场景及常用的使用命令,并包括持久化策略、主从复制、集群模式、分布式锁的实现、作为缓存时的使用注意事项及部分源码解析等内容
2022-04-13 10:18:01
954
原创 flink从kafka读取数据写入clickhouse本地表的实现
实现功能因为直接写clickhouse的分布式表在数据量比较大的时候会有各种问题,所以做了一个flink读取kafka数据然后路由写入到相应的本地表节点,并且关于不同的表的配置信息可以随时更改并设置生效时间。实现流程首先从kafka将数据读取过来 然后进行相应的处理及逻辑判断写入到对应的clickhouse表格中 最后根据CDC读取来的配置信息进行相应节点的hash路由,直接写入本地表读取kafka数据定义kafka工具类,实现kafka的source获取函数public sta
2022-03-13 20:37:42
5856
2
原创 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error
flink任务重开启检查点并设置状态后端后,提交任务运行,出现以上错误,具体错误如下:org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: org.apache.flink.runtime.concurrent.FutureUtils$RetryException: Could not complete the operation. Number of retries .
2022-03-12 18:35:44
15374
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人