- 博客(16)
- 收藏
- 关注
RSS订阅原创 FlinkCDC读取Oracle原理
其中在这个方法里面两个主要的属性engine，debeziumChangeFetcher，这两个采用了生产者和消费者的概念来读取Oraclecdc的数据，其中engine，这个属于是生产者的角色，debeziumChangeFetcher是消费者的角色，生产者将数据读取出来放到一个Handover，这个类里面，之后由消费者角色来进行读取，生产数据，并且将数据发送给消费者（在Java线程里面就是将消费者线程唤醒）进入到Handover这个类里面，这里面由两个重要的方法，如下所示，可以看到最主要的一个类是。
2023-06-28 21:28:49
2110
1
原创 虚拟机解压jar包里面的文件之后在压回去
在很多场景当中都需要修改java打包的jar的配置文件，于是就需要将java的jar包解压，然后在压缩回去，在这里提供一种亲测可行的一种方案。修改完成之后在压缩回去，这样就OK了。先找到需要的配置文件的路径。
2023-05-18 17:45:36
953
原创 Greenplum启动集群报错Port 15432 is already in use，或者是关闭集群报错psql FATAL: the database system is shutting dow
首先，出现这种问题，大概率是你的GP集群在跑什么任务导致的，所以，不用管，直接启动数据库，发现报错如下。找到被占用的端口号，然后kill -9 全部干掉，最后启动数据库，成功。找到文件当中提到的/tmp/下的文件，删掉他，然后通过命令。
2023-05-12 11:24:30
454
原创 Idear报错‘switch‘ expressions are not supported at language level ‘8‘
实际上我们这个地方，已经在projectStructure里面选择jdk更高的版本了，如下所示。有时候idea会报错如下关于JDK的类型错误的消息，但是还是汇报错，于是重新如下所示。这个地方去掉即可解决报错。
2023-05-11 13:58:43
3230
原创 Greenplum集群搭建碰到问题Failed to start Master instance in admin mode解决方案
首先就是Failed to start Master instance in admin mode，在启动greenplum集群的时候会碰到这个问题，于是根据报错的日志，进入到相应的日志文件里面去看，发现内容是这些。看到这个其实根本看不出来是个什么鬼，GP不知道咋个搞的，真实的错误文件是同级目录的如下csv文件，离谱吧，这个神操作绝了。最近搭建Greenplum集群时候碰到一个问题，磨蹭半天，终于解决了，在这里给大家分享一波，然后找到对应数据库启动的时间点，进去查看，我这次的问题是这个。
2023-05-08 17:41:53
510
原创 mysql删除数据库报错Error dropping database解决方案
发现是我们建的数据库名以及一些其它信息，所以如果我们碰到上述问题的时候，直接rm -rf 数据库名，删掉就OK了。不知道大家碰到过没有过在mysql里面删除一个数据库删不掉，在这里给大家一个简单粗暴的方案。找到这个datadir这个目录：这个目录是所建的表，数据库，都会放到这里；找到mysql的配置文件，进入到这个目录，ls查看一下。
2023-05-08 17:28:45
628
原创 Springboot接口提交flink程序到集群当中
通过前端api接口的形势来调用flink程序，可以随时修改flink的固定参数，例如，设置并行度，设置source端的数据源，设置sink的数据源，甚至设置transform端的转换规则都可以进行相应的设置。
2023-04-26 16:46:49
730
原创 浅谈数仓建模
数据建模简单来说就是基于对业务目标的理解，将各种数据进行整合和关联，并最终使得这些数据可用性，可读性增强，让使用方能快速的获取到自己关心的有价值的信息并且及时的作出响应，为公司带来效益。
2023-04-24 17:31:47
217
原创 浅谈数据治理
元数据管理系统作为数据治理平台的前端展示门户，帮助实现对数据资产的快速检索能力，提高数据使用有效性和效率。支持定制统一的数据标准平台，包括字段标准管理，码值标准管理以及字典管理，业务源数据和中台数据统一标准。数据治理平台作为数据治理的产品体系，旨在保障数据平台的数据是安全、可靠的、标准的、有价值的。通过建立完整且一致的元数据管理策略，提供集中、统一、规范的元数据信息访问、查询和调用功能。通过数据质量雷达图，定期进行数据和任务质量打分，综合考察数据质量效果。3）所有数据的血缘是否完整可追溯。
2023-04-24 17:22:39
323
原创 Seatunnel提交任务到Flink集群源码解析
进入到internalSource这个变量的run方法里面去，其中实现的方法，主要是ParallelSource，这个类里面，主要是对读取数据进行了相应的封装，主要是采用了，多个reader的方式来读取表当中的数据的方式，来读取数据。1：首先是组件sourcePluginExecuteProcessor，这个组件主要是用于生成source端，这个方法也是所有的封装当中最终要的一个类，接下来，我们仔细研究一下这个类，这个类里面主要调用这个方法，3：第二个大的组件是sink端，
2023-04-24 15:36:59
1269
原创 swagger介绍
但是swagger的开关，通常是和运行环境关联起来，比方说上一个代码，就是需要判断当前的环境是Dev和test的时候才会显示swagger，一般在真实的生产环境上面，不会开启swagger，容易造成信息泄露。但是其实不止只有这一种方式来配置扫描的方式，还有很多种，但是总归来说，都是需要先select，之后才会有这个配置接口扫描的方法。swagger的开关的话通常是swagger是否是开启的关键开关，配置方法如下所示。swagger的配置实体类是Docket，想要配置swagger的方法如下所示。
2023-04-21 14:51:42
88
原创 Java注解原理
java的最基本的几个注解主要有一下几个@Target：该注解主要是作用在方法，属性，类等上@Retention：主要有三个参数@Documented：注解是否应当被包含在 JavaDoc 文档中，通常不用，作用不是很大@Inherited：是否允许子类继承该注解。
2023-04-21 11:18:20
328
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人