- 博客(4)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 自定义注解实现多数据源动态切换
自定义注解实现多数据源动态切换1、注册多数据源:2、在spring配置文件中配置这两个数据源3、自定义一个数据源类,继承 org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource 并重写 determineCurrentLookupKey()4、实现数据源持有类DataSourceContextHolder5、自定义注解6、利用AOP实现动态数据源切换7、若方法体上没有注解,则使用默认数据源,如果有以下注解,则使用指定的数据源8
2020-07-27 23:00:23
1148
原创 Jar包冲突解决方案
背景介绍 项目名称:数据同步中心的HBaseReader插件迁移至玄武计算平台 项目背景:数据同步中心的开发环境为Spark 2.x + Scala 2.11,而玄武计算平台中的开发环境为Spark 3.0 + Scala 2.12,且开发环境所用HBase版本较低,所以在迁移中遇到了许多API错误和Jar包冲突问题 问题一,Spark版本升级导致以前的API调用方式不可用 旧版本调用在新版本中报错,如下图所示: 点进去查看该类发现在Spark 3.0 中该对象被私有化,无法调用 解决方案:本地构
2020-08-10 19:16:10
643
原创 Spark核心源码(一):spark-submit
1.Spark 源码相关目录介绍 spark 源码下载地址https://github.com/apache/spark 选择自己需要阅读的分支,目前spark 版本已经到3.0.0,因为目前线上使用的主要版本为2.3, 所以当前阅读源码还是以2.3 为主。 下图为整个spark源码的目录结构: bin 目录下存放的spark运行shell 相关的脚本,包括pyspark,sprkR,spark-shell,spark-sql等脚本。通过其中一个pyspark脚本分析,如何启动这些脚本的。 查看pysp
2020-07-28 19:32:39
426
原创 Spark核心源码学习(整体路线)
前言 从Spark执行流程来顺序学习Spark内部核心原理 1.Spark应用提交 (1)向Yarn提交 (2)ApplicationMaster,Driver,Executor 2.Spark内部组件及通信 (1)通信原理 -IO (2)组件内部 (3)组件之间 3.Spark作业调度 (1)Application (2)逻辑代码 => RDD (3)Job => 行动算子 (4)Stage 的划分 => 转换算子 => 依赖关系 (5)Task(Partition) 4.任务的执
2020-07-28 00:10:58
206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人