- 博客(16)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 （一）自制数据同步助手
EPS数据同步助手说明我在开发过程中经常遇到数据同步的问题，为此产生了一系列的开发任务费事耗力，所以我做了一个数据同步的程序，他可以 通过配置实现 表对表，SQL对表的全量同步数据，增量同步数据，数据对账。查看数据是否同步正常 ，是否有错误，以及记录错误原因。目前配置方式 支持 oracle 、 mysql pg、es、clickhouse之间的数据同步。还可以通过，二次开发的方式实现更复杂...
2020-03-19 10:17:24
448
原创 java 自定义类 模拟实现消息队列 消费发送功能(升级版)
消息队列 用户 消息发送消费 自研 rpc调用等原版地址 https://blog.csdn.net/napcleon1/article/details/105402879上一版存在一些问题1.while (true) 循环while(true)循环会一直占用资源导致服务器效率低下2.单线程故障率高3. 多任务模式下(类似kafka 的多个topic) 会创建多个while(true) 线程 及其占用资源.下面直接上代码吧首先写一个类里面有一个 线程安全的 list 用于存放消息impor
2022-01-24 12:44:28
2083
1
原创 JAVA 字符串处理工具栏
JAVA 字符串处理工具栏（九年积累）/** * 文件名: StringUtil.java * 包路径: com.github.niupengyu.core.util; * 创建描述 * * @createPerson： * @createDate：Jan 8, 2013 12:08:20 PM * 内容描述： * 修改描述 * @updatePerson： * @updateDate：Jan 8, 2013 12:08:20 PM * 修改内容: * 版本: V1.0 */p
2021-09-27 17:25:01
163
原创 JAVA线程安全的DateUtil工具类
这里写自定义目录标题JAVA线程安全的DateUtil工具类JAVA线程安全的DateUtil工具类package com.github.niupengyu.core.util;import org.omg.CORBA.Object;import java.text.DateFormat;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Calendar;import ja
2021-09-27 16:58:15
344
原创 上亿数据同步的方法分享
上亿数据同步的方法分享前言kettle 同步jdbc流式查询前言在工作中遇到这样一样场景，我们要从第三方同步一批数据这批数据 对方用的是oracle数据库。 其中一个表里有5亿多数据， 有一百多个字段 ，其中有个clob字段。而且对方的数据库除了主键外 没有任何其他索引 查询很慢。对方给我们开了视图。一开始通过分页的方式同步 一次取2000 前几页数据同步很快 大概一页也就几毫秒就能查询出来 。但是分页越往后 随着rownum的变大 查询就越来越慢了。到后面预计查询一页要一个多小时 。按照这个速度下
2020-06-25 20:13:12
1358
原创 大数据开发-关于数据管理的经验分享
这里写自定义目录标题大数据开发-关于数据同步数据管理的经验分享前言数据源的多样性数据格式数据字典不统一合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入大数据开发-关于数据同步数据管理的经验分享大数据开发除了炫酷的报表 、复杂的算法、系统架
2020-05-23 09:31:13
1651
2
原创 利用spring IOC 实现 模块化开发 动态加载 jar包（包括第三方）不需要重启
模块化开发的方式有很多 基于rest、webservice 接口 或者服务器集群结合单点登录或者spring cloud 微服务等方式 。无非就是要实现 在不影响现有系统正常运行的情况下 上线 或者下线某些功能模块。更新系统的时候不影响正常不在更新范围内的功能。保证系统稳定。下面我说一种基于spring IOC 方式实现的动态加载卸载jar文件 来实现模块化开发的功能。这种方式 下各个模块之间...
2020-04-13 21:56:18
3241
7
原创 java 解析 insert语句 提取 出里面的列和参数
最近因为工作需要写了一个工具类 可以从insert语句中提取充每个字段 以及填写的参数。如果参数中存在sql函数 也可以准确提取出来 分享给大家 定义这样一个sqlString insert="insert into test(col1, col2 , col3, \n col4,col5,col6,col7,col8) " + "values('',123,...
2020-04-10 19:51:39
2278
原创 Apache POI 读取excel工具类 （回调方式）
基于apache poi 的Excel读取工具类 。通过回调函数的方式处理数据主要代码直接复制使用package com.aheadframework.commons.poi;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.apache.poi.h...
2020-04-09 10:29:19
289
原创 java 自定义类 模拟实现消息队列 消费发送功能
mq 消息队列对于每个开发人员并不陌生，消息队列实现了解耦 ，提高运行效率 保证系统稳定。但又存在 数据一致性等其他问题。这些问题都有了解决方案。也不是本篇讨论的问题。我写的模拟消息队列功能 适用于以下场景1、有些项目虽然用到了 mq 开发周期比较短 。或者公司因为成本问题 提供的服务器比较少，配置低。也行只是做个POC 不需要做那么专业。2、有时候尽管你 各种第三方工具（kafka red...
2020-04-09 09:44:45
732
原创 (一) 创建 maven工程 的三种格式 基于spring boot框架
spring boot 是目前比较流行的java 后台开发框架，我从2017年开始接触。之前基于spring mvc 搭建了一套后台快速开发框架，有完整的权限用户管理登录，以及从网上找的 和自己写的一些 类库。后来将其改造为基于 spring boot 的开发框架。舍弃了用户 权限管理（用户 权限管理 使用单独的单点登录和权限管理集成），保留并丰富了之前的工具类库，如果你是一个开发新手。或者一个项...
2020-04-05 09:49:18
273
原创 （六）自制数据同步程序 源码位置
源码位置: https://github.com/niupengyu/aframe.git.源码主要分为两个部分ahead-frame ：为工程主框架 这个框架可以 快速搭建spring 工程提供了很多类库。可以做一些小型项目 实现快速开发和交付ahead-frame-schedule：定时同步程序的代码部门 基于 ahead-frame框架开发ahead-frame-integra...
2020-03-24 20:55:01
201
原创 （四）自制数据同步程序 二次开发（模块化）开发说明
二次开发 基于spring ioc 动态上传jar包 动态加载bean 将自定义的同步逻辑加载到同步任务里。不需要重启。
2020-03-23 17:25:46
382
原创 （二）EPS数据同步助手-部署说明
nohup java -jar ahead-schedule-starter-jar-1.2.6-RELEASE >/dev/null 2>1 &
2020-03-20 10:43:00
267
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人