- 博客(9)
- 收藏
- 关注
原创 袋鼠云数据库数据同步之flinkx1.10版入门-搭配flink1.11
1.前提介绍公司最近有个项目要做数据库之间的数据离线同步,经过调研在git上发现了袋鼠云的flinkx插件,感觉很好用,我们可以理解flnkx就是封装了同步操作的jar包,调用起来也很方便,我们只需要关注一个json文件,里面定义好reader和writer,就能够进行数据库数据同步,当前我们的需求只需要到离线的,其实选用flinkx也是考虑到以后拓展,毕竟flink本身支持实时同步,虽然我用的程度只是基本的mysql到mysql的操作,但以后有实时需求的时候,感觉flinkx应该也会有解决方案2.
2021-04-06 20:13:54
733
原创 centos7离线安装spark2.4.7及基本pyspark运行示例
1.安装原因公司最有在搞一个项目,项目中的etl沿用了旧版本的etl,而旧版本的etl是通过pyspark做的,略坑的是旧版的pyspark用的python依赖的是centos7自带的,也就是python2.7,作为曾经被python2.7一通好坑的我,想着说啥得把python版本换了,因为低版本的python2.7官方都早已不维护了,缺少sparksql中各种api以及python里的api,总之我是不换不行了。由于以后的实施环境都是内网,所以不能采用在线安装方式,所以这里需要离线安装python3.
2021-01-21 16:17:52
863
原创 springboot+mybatis+达梦数据库最简demo
1.需求公司最近需要使用国产数据库,因为oracle,mysql,pg等库都是国外的,战略上不安全,所以需要调研一下达梦,看看和mybatis的适配,可能是由于springboot实在太方便了,所以每次新项目总是拷过来拷过去的,这导致很多臃肿无用的配置或者冗余了很多无用或无效配置。为了以后方便,自己搞一个简洁版的了,博文目的是记录mybatis最简方式,顺带着也把达梦的连接带着了。2.方案1)项目目录结构如下:截图这个主要是为了方便后续的代码介绍一目了然2) pom文件依赖构成如下.
2020-12-30 16:35:21
1319
原创 springcloud 在nacos注册网关服务简单demo
1.需求公司需要将很多项目做成微服务 ,原来用eureka ,但eureka不是动态修改配置文件,所以同事看上了nacos,而且依赖的开源框架ruo-yi框架本身也支持nacos,所以需要结合着搞个网关微服务。2.方案很多网上方案的配置文件用的application.yml,甚至官网的还是application.property文件,我相同配置搞起后用不起来,虽然在我的target下的classes文件中也能找到正确的编译后的配置文件,但是就是不起作用。启动项目报错no server av...
2020-12-24 12:16:22
790
1
原创 如何引入springboot基本依赖及进行统一版本管理
1.问题描述当我们新建一个项目的springboot项目时,如果不是通过arc来建立的,那么就需要我们自己在pom里进行基本包引入,这里可以通过两种方式集中引入2.引入方式1)spring-boot-starter-parent 通过继承方式 ,当然也可以在项目中的dependency中引入 <parent> <groupId>org.springframework.boot</groupId> <arti..
2020-12-24 11:58:35
3170
原创 restTemplate的post方法传递参数
1.问题背景服务之间调用,通过spring自带的restTemplate访问nacos网关服务, 网关路由到真正需要的服务上 ,此过程需要携带对象参数及tokenpackage com.zy;import com.alibaba.fastjson.JSONObject;import com.alibaba.nacos.api.annotation.NacosInjected;import com.alibaba.nacos.api.naming.NamingService;impo...
2020-12-24 11:02:33
2162
2
原创 atlas在windows下的idea中打包失败的问题
1.问题描述(本问题针对可以通过maven打包 却无法通过idea打包)本次面对的问题是apache atlas源码在windows中无法直接通过idea自带的install按键打包的问题,打包过程会报错:Failed to execute goal org.apache.rat:apache-rat-plugin:0.7:check (verify.rat) on project flume-ng-elasticsearch-sink: Too many unapproved licenses
2020-12-11 10:32:56
509
原创 maven打包web项目将后台代码打包进lib
参考博主:https://blog.csdn.net/limm33/article/details/70173113?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.control&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.con
2020-11-27 11:07:46
248
原创 springboot整合mq连接池无法注入JmsMessagingTemplate
参考大神:https://blog.csdn.net/qq_37145915/article/details/102990848?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.co...
2020-11-25 16:03:43
820
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人