（四）自制数据同步程序 二次开发（模块化）开发说明

最新推荐文章于 2024-03-03 15:13:41 发布
最新推荐文章于 2024-03-03 15:13:41 发布
阅读量382 收藏
点赞数
分类专栏： EPS数据同步 文章标签： 数据库 intellij idea java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/napcleon1/article/details/105042214
版权

二次开发 基于spring ioc 本系统实现了模块化开发部署 动态上传jar包 动态加载bean 将自定义的同步逻辑加载到同步任务里。不需要重启。

编写方法如下 首先创建一个空工程
在这里插入图片描述
填写相关内容 点击保存
在这里插入图片描述
完整信息如下
在这里插入图片描述
将需要的启动工程放入你的工程代码内 作为子工程
在这里插入图片描述
放置后如下
在这里插入图片描述
idea效果如下
在这里插入图片描述

然后将子工程导入到idea中
在这里插入图片描述
点击pom文件导入

在这里插入图片描述
导入之后注意配置 source root 和resources root
在这里插入图片描述
webapp 文件目录页要配置
在这里插入图片描述
再创建一个工程编写代码
在这里插入图片描述
配置如下（示例）
在这里插入图片描述
创建完成效果如下
在这里插入图片描述
在启动工程添加 刚刚创建的工程依赖
在这里插入图片描述
在刚刚创建的工程中添加如下依赖
1.2.1-RELEASE

com.github.niupengyu.schedule
ahead-schedule-statistics
${ahead.schedule.version}

创建一个service 开始编写代码 此工程要实现一系列接口
在这里插入图片描述

下面简单介绍下数据同步的流程
1.按时间同步（源库有一个更新时间的字段）
首先设置一个开始时间，比如要从 2020-01-01 00:00:00开始同步数据。
第二步：查询 2020-01-01 00:00:00 到现在最新是数据最后一次更新时间是多少 比如源库最新的数据更新时间是 2020-03-23 00:00:00。
第三步：查询 2020-01-01 00:00:00 到 2020-03-23 00:00:00 之间的数据有多少。比如有20000条
第四步：通过分页的方式查询 第一页数据（设置每页10000条），
第五步：循环每一条数据 进行数据处理 比如：合并字段 转换类型 调用算法分析等。
第六步：通过批处理保存数据
第七步：开始下一页循环。
其中 查询最新更新时间，查询数据量，循环处理每一条数据，保存数据 这几部同步程序预留接口 通过实现接口来实现这这几步。达到自定义同步的效果。

设置分页可以减少数据库查询一次返回的数据量大小，源库数据库不收控制。查询太多会出现源库内存不足的情况 导致源库奔溃。同时也减少数据同步服务器内存的占用。

以下是要实现的所有接口 说明

在这里插入图片描述

实现 对账功能 读、写接口要同时实现。

接口分为读、写 两种，这两种接口须组合使用
组合方式如下。

读写用途
PageTimeCompareDataReaderBatchWriter,BatchCompareWriter按时间分页查询、修改或插入
PageTimeCompareDataReaderBatchDeleteBeforeInsertWriter,BatchCompareWriter按时间分页查询、 先删除后插入
PageTimeCompareDataReaderBatchInsertWrite,BatchCompareWriter按时间分页查询、插入不判断重复
PageCompareDataReaderBatchWriter,BatchCompareWriter按分页查询、修改或插入
PageCompareDataReaderBatchDeleteBeforeInsertWriter,BatchCompareWriter按分页查询、 先删除后插入
PageCompareDataReaderBatchInsertWrite,BatchCompareWriter按分页查询、插入不判断重复
AllCompareDataReaderBatchWriter,BatchCompareWriter全量查询、修改或插入
AllCompareDataReaderBatchDeleteBeforeInsertWriter,BatchCompareWriter全量查询、 先删除后插入
AllCompareDataReaderBatchInsertWrite,BatchCompareWriter全量查询、插入不判断重复
AllTimeCompareDataReaderBatchWriter,BatchCompareWriter按时间全量查询、修改或插入
AllTimeCompareDataReaderBatchDeleteBeforeInsertWriter,BatchCompareWriter按时间全量查询、 先删除后插入
AllTimeCompareDataReaderBatchInsertWrite,BatchCompareWriter按时间全量查询、插入不判断重复

接口方法说明：
一些列举的是上面接口的所有方法 根据业务需要选择不同的接口会有不同的方法需要实现。



{

    /**
     * 全量查询数据库数据
     * @return 数据数量
     * @throws Exception
     */
    @Override
    public List<Map<String, Object>> readCompareData() throws Exception {
        return null;
    }

    /**
     * 按时间查询对账数据列表
     * @param start 开始时间
     * @param end 结束时间
     * @return 数据列表
     * @throws Exception
     */
    @Override
    public List<Map<String, Object>> readCompareData(String start, String end) throws Exception {
        return null;
    }

    /**
     * 查询源库对账数据数量
     * @return 数据数量
     * @throws Exception
     */
    @Override
    public int readCompareDataTotal() throws Exception {
        return 0;
    }

    /**
     * 查询目标库对账数据数量 
     * @return 数据数量
     * @throws Exception
     */
    @Override
    public int readTargetDataTotal() throws Exception {
        return 0;
    }

    /**
     * 分页查询对账数据列表
     * @param page 页数
     * @param size 页码
     * @return 数据列表
     * @throws Exception
     */
    @Override
    public List<Map<String, Object>> readCompareData(int page, int size) throws Exception {
        return null;
    }

    /**
     * 按时间查询源库对账数据数量
     * @param start
     * @param end
     * @return 数据数量
     * @throws Exception
     */
    @Override
    public int readCompareDataTotal(String start, String end) throws Exception {
        return 0;
    }

    /**
     * 按时间查询目标库对账数据数量
     * @param start 开始时间
     * @param end 结束时间
     * @return 数据数量
     * @throws Exception
     */
    @Override
    public int readTargetDataTotal(String start, String end) throws Exception {
        return 0;
    }

    /**
     * 按时间 分页 查询对账数据数量
     * @param page 页数
     * @param size 每页数据数量
     * @param start 开始时间
     * @param end 结束时间
     * @return 数据列表
     * @throws Exception
     */
    @Override
    public List<Map<String, Object>> readCompareData(int page, int size, String start, String end) throws Exception {
        return null;
    }

    /**
     * 全量查询源库数据
     * @return 数据列表
     * @throws Exception
     */
    @Override
    public List<Map<String, Object>> readData() throws Exception {
        return null;
    }

    /**
     * 按时间查询源库数据
     * @param start
     * @param end
     * @return 数据列表
     * @throws Exception
     */
    @Override
    public List<Map<String, Object>> readData(String start, String end) throws Exception {
        return null;
    }

    /**
     * 按分页查询源库数据
     * @param page 页数
     * @param size 每页条数
     * @return 数据列表
     * @throws Exception
     */
    @Override
    public List<Map<String, Object>> readData(int page, int size) throws Exception {
        return null;
    }

    /**
     * 全量读取源库数据数量
     * @return 数据数量
     * @throws Exception
     */
    @Override
    public int readDataTotal() throws Exception {
        return 0;
    }

    /**
     * 按时间查询数据数量
     * @param start 开始时间
     * @param end 结束时间
     * @return 数据数量
     * @throws Exception
     */
    @Override
    public int readDataTotal(String start, String end) throws Exception {
        return 0;
    }

    /**
     * 按分页 时间查询源库数据
     * @param page 页数
     * @param size 每页条数
     * @param start 开始时间
     * @param end 结束数据
     * @return 数据列表
     * @throws Exception
     */
    @Override
    public List<Map<String, Object>> readData(int page, int size, String start, String end) throws Exception {
        return null;
    }

    /**
     * 查询一条数据
     * @param map 数据全部值
     * @return 返回新数据
     * @throws Exception
     */
    @Override
    public Map<String, Object> selectOne(Map<String, Object> map) throws Exception {
        return null;
    }

    /**
     * 同上
     * @param primaryKey 主键对象
     * @return
     * @throws Exception
     */
    @Override
    public Map<String, Object> selectOne(PrimaryKey primaryKey) throws Exception {
        return null;
    }

    /**
     * 查询一条数据
     * @param map 数据对象
     * @return 返回插入条数
     * @throws Exception
     */
    @Override
    public int insert(Map<String, Object> map) throws Exception {
        return 0;
    }

    /**
     * 初始化方法。
     * @param timerParam
     * @throws Exception
     */
    @Override
    public void init(TimerParam timerParam) throws Exception {

    }

    /**
     * 返回目标库主键
     * @return
     */
    @Override
    public PrimaryKey goalId() {
        return null;
    }

    /**
     * 同步结束执行方法
     * @throws Exception
     */
    @Override
    public void end() throws Exception {

    }

    /**
     * 返回源库 数据id
     * @param map
     * @return 主键对象
     * @throws Exception
     */
    @Override
    public PrimaryKey selectId(Map<String, Object> map) throws Exception {
        return null;
    }

    /**
     * 返回源库id
     * @return 主键对象
     */
    @Override
    public PrimaryKey sourceId() {
        return null;
    }

    /**
     * 删除一条数据
     * @param map
     * @return
     * @throws Exception
     */
    @Override
    public int delete(Map<String, Object> map) throws Exception {
        return 0;
    }

    /**
     * 查询列表中的数据是否在数据库中
     * @param list 查询的数据集合
     * @return 返回查询到的存在的数据id 集合
     * @throws Exception
     */
    @Override
    public Set<String> in(List<Map<String, Object>> list) throws Exception {
        return null;
    }

    /**
     * 对比一条数据是否存在
     * @param map 对比的数据
     * @param set 上个方法查到的数据id集合
     * @return
     * @throws Exception
     */
    @Override
    public boolean compareOne(Map<String, Object> map, Set<String> set) throws Exception {
        return false;
    }

    /**
     * 执行批量更新
     * @param batchList
     * @return 更新数量 -1 代表异常
     * @throws Exception
     */
    @Override
    public int executeUpdate(BatchList batchList) throws Exception {
        return 0;
    }

    /**
     * 添加到批处理列表  这个方法可以 加入自定义逻辑 比如数据分析 字段合并等
     * @param batchList 列表对象
     * @param map 要处理的数据
     * @throws Exception
     */
    @Override
    public void addUpdateBatch(BatchList batchList, Map<String, Object> map) throws Exception {

    }

    /**
     * 更新一条数据
     * @param map 要更新的数据
     * @return 更新数量
     * @throws Exception
     */
    @Override
    public int update(Map<String, Object> map) throws Exception {
        return 0;
    }

    /**
     * 查询数据是否存在
     * @param map
     * @return
     * @throws Exception
     */
    @Override
    public int hasOne(Map<String, Object> map) throws Exception {
        return 0;
    }

    /**
     * 同上
     * @param primaryKey 数据id对象
     * @return
     * @throws Exception
     */
    @Override
    public int hasOne(PrimaryKey primaryKey) throws Exception {
        return 0;
    }

    /**
     * 执行批量删除
     * @param batchList 处理列表
     * @param list 删除的列表
     * @return 删除数量
     * @throws Exception
     */
    @Override
    public int executeDelete(BatchList batchList, List<Map<String, Object>> list) throws Exception {
        return 0;
    }

    /**
     * 执行批量插入
     * @param batchList 处理列表
     * @param list 插入的列表
     * @return
     * @throws Exception
     */
    @Override
    public int executeInsert(BatchList batchList, List list) throws Exception {
        return 0;
    }

    /**
     * 添加自定义批处理队列
     * @return
     */
    @Override
    public String[] initBatchQueue() {
        return new String[0];
    }

    /**
     * 执行批量插入
     * @param batchList 处理列表
     * @return 成功数量
     * @throws Exception
     */
    @Override
    public int executeInsert(BatchList batchList) throws Exception {
        return 0;
    }

    /**
     * 添加到批处理列表
     * @param batchList 处理对比
     * @param map 要添加的对象
     * @throws Exception
     */
    @Override
    public void addInsertBatch(BatchList batchList, Map<String, Object> map) throws Exception {

    }
}

测试之前配置扫描的包名（你写的类包路径这里没有 ）
在这里插入图片描述

编写完成后通过这个类启动测试

配置完如下
在这里插入图片描述

然后启动 访问端口在 application-dev.yml 文件中配置

其中要依赖的jar包是我自己打包的 已上传到maven中央仓库
https://mvnrepository.com/search?q=niupengyu
链接: https://mvnrepository.com/search?q=niupengyu.
代码地址
链接：https://pan.baidu.com/s/16r_CjL-wiCH5xLfmh-tS0g
提取码：2krd

napcleon1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
（一）自制数据同步助手
napcleon1的博客
03-19 448
EPS数据同步助手 说明 我在开发过程中经常遇到数据同步的问题，为此产生了一系列的开发任务费事耗力，所以我做了一个数据同步的程序，他可以 通过配置实现 表对表，SQL对表的全量同步数据，增量同步数据，数据对账。查看数据是否同步正常 ，是否有错误，以及记录错误原因。目前配置方式 支持 oracle 、 mysql pg、es、clickhouse之间的数据同步。 还可以通过，二次开发的方式实现更复杂...
数据库同步软件开发——工作日志
ice_baili 随记
01-14 1438
数据库同步功能    需求：       1.同步正式服务器数据库数据到测试服务器，保持数据的完整性。       2.不用连接数据库的形式，保持数据库的独立性。       3.可以选择表定时同步。    实现难点       1.表的字段名是固定的，字段类型是不固定的，主键名是不固定的。       2.复合主键时候扩展会复杂些。    解决方案       1.选择实现形式
【数据同步】基于阿里DataX数据同步框架的二次开发
明天，争取的博客
11-26 1143
datasync 基于阿里DataX数据同步框架的二次开发。本项目基于SpringBoot框架，采用Java语言开发,Gradle构建。【项目地址】 Features 本项目目前仅支持从sqlserver到mysql数据同步，但与其他数据库开发原理一致，可基于本项目进行其他数据库同步的开发。具体支持同步的数据库列表，可参考阿里Datax:https://github.com/alibaba...
（五）自制数据同步程序 二次开发（模块化）打包发布说明
napcleon1的博客
03-24 142
吃的
一、在开发数据同步系统中的开发问题：
Zippy2016的博客
01-23 146
记录了在开发种遇到的问题，有一些非常低级……囧 1.C#如何将sting转换成char string 转换成 Char[] 　　string ss = "abcdefg"; 　　char[] cc = ss.ToCharArray(); Char[] 转换成string 　　string s = new string(cc); 此外,byte[] 与 s...
Java范例开发大全（全书源程序）
04-05
Java范例开发大全（全书源程序），目录如下： 第1篇 Java编程基础 第1章 Java开发环境的搭建（教学视频：9分钟） 2 1.1 理解Java 2 1.2 搭建Java所需环境 3 1.2.1 下载JDK 3 1.2.2 安装JDK 4 1.2.3 配置环境...
Java范例开发大全 (源程序）
04-27
　实例1 开发第一个Java程序 7 　第2章 Java基础类型与运算符（教学视频：39分钟） 9 　2.1 基础类型 9 　实例2 自动提升 9 　实例3 自动转换 10 　实例4 常用基础类型之强制转换 11 　2.2 运算符 12 　实例5...
java范例开发大全（pdf&源码）
07-04
实例1 开发第一个Java程序 7 第2章 Java基础类型与运算符（教学视频：39分钟） 9 2.1 基础类型 9 实例2 自动提升 9 实例3 自动转换 10 实例4 常用基础类型之强制转换 11 2.2 运算符 12 实例5 算术运算符 12 实例6 ...
自制西游登录器源码
01-14
《自制西游登录器源码解析与探讨》 在IT行业中，游戏开发是一个充满创新和技术挑战的领域。...当然，如果要在这个基础上添加更多功能或进行二次开发，还需要深入学习游戏设计原理、网络编程、数据结构等相关知识。
java范例开发大全
03-08
实例1 开发第一个Java程序 7 第2章 Java基础类型与运算符（教学视频：39分钟） 9 2.1 基础类型 9 实例2 自动提升 9 实例3 自动转换 10 实例4 常用基础类型之强制转换 11 2.2 运算符 12 实例5 算术运算符 12 实例6 ...
C/S 程序同步工具（PB12.0 源码）
05-30
要求：支持 HTTP 的应用服务器 1. 运行 syncFile.exe 并设置客户端参数。 2. 把 exe 和生成的 ini 打包到客户端发布文件中。 3. 在你的客户端程序中调用 exe （要带参数，详见 exe 界面）。 4. 拷贝 exe 文件到应用服务器的下载目录中，运行并设置服务器参数。
同步模块模式
JXB
06-27 1575
同步模块模式版本一（代码来自《javascript设计模式》–百度工程师） var F = F || {}; F.define = function(str , fn){ var parts = str.split(‘.’); old = parent = this; i = len = 0; if(parts[0] === ‘F’){
SOFARegistry 源码｜数据同步模块解析
金融级分布式架构
06-29 307
本文主要介绍了 SOFARegistry 中的数据同步模块。在整个过程中，我们首先从 SOFARegistry 角色分类阐述不同角色之间存在的数据同步问题，并针对其中 SessionServer 与 DataServer 之间的数据同步 和 DataServer 多副本之间的数据同步进行了展开。......
开源共建 | TIS整合数据同步工具ChunJun，携手完善开源生态
a958014226的博客
11-30 906
TIS整合ChunJun实操 B站视频： https://www.bilibili.com/video/BV1QM411z7w5/?spm_id_from=333.999.0.0 一、ChunJun 概述 ChunJun是一款易用、稳定、高效的批流统一的数据集成框架，可基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如Binlog，Kafka等。 目前的核心功能包括： · 多源异构数据汇聚 作为一个开放式系统，用
同步模块模式/异步模块模式
SevenLee的个人博客
01-19 468
模块化：将复杂的系统分解成高内聚、低耦合的模块，使系统开发变得可控、可维护、可拓展，提高模块的复用率。 模块化开发是分而治之的思想，实现对复杂系统的分解，使系统随着其功能的增加而变得可控、可拓展、可维护。这就要求我们对模块细化，随着系统功能的增加模块的数量也随之增加。模块开发的成本随之减少，但是模块的接口数量却随之增加，接口的使用成本和开发维护成本也增加，所以合理的模块分割尤其重要。 同步模块模式————ＳＭＤ(Synchronous Module Definition)：发出请求后，无论模块是否存在，立即
大数据时代，数据实时同步解决方案的思考—最全的数据同步总结
weixin_30677617的博客
08-15 6651
1、 早期关系型数据库之间的数据同步 1）、全量同步 比如从oracle数据库中同步一张表的数据到Mysql中，通常的做法就是 分页查询源端的表，然后通过 jdbc的batch 方式插入到目标表，这个地方需要注意的是，分页查询时，一定要按照主键id来排序分页，避免重复插入。 2）、基于数据文件导出和导入的全量同步，这种同步方式一般只适用于同种数据库之间的同步，如果是不...
常见的几种数据同步方案
最新发布
很多时候犯错都是在不知情的情况下发生的
03-03 1275
感兴趣的可以深究，这里只想说明：对大数据量处理，包括数据提取，数据加载，增量数据同步，可以借助这些工具，ETL工具提供了一些可视化的组件+配置具体的链接类型。但是因为引入新的组件，在多数据源的情况下，不可避免的带来系统的复杂性。这种就是常见的SQL脚本，常用于数据割接，错误数据修改，包括配置数据，业务字段，运维手工调整异常数据等。如上，比如：例子中的触发器是在tb_order表中插入新数据时触发的，将新数据同步到tb_order_his表中（读者可以根据需要调整触发器的触发时机和逻辑）
聊聊数据同步方案
徐小陌的博客
09-30 9334
当前服务开发中，数据同步必不可少，你是怎么做的呢？
大数据开发平台-数据同步服务
热门推荐
colorant的专栏
09-21 1万+
同步一切
嵌入式Linux应用程序开发.ppt
11-16
嵌入式Linux应用程序开发是指在嵌入式系统中，通过Linux操作系统进行应用程序的开发和调试。在进行工程开发前，需要搭建一套基于Linux操作系统的应用开发环境，其主要由目标板和宿主机构成。目标板用于运行操作系统...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值