原创之路
napcleon1
这个作者很懒,什么都没留下…
展开
-
java 自定义类 模拟实现消息队列 消费发送功能(升级版)
消息队列 用户 消息发送消费 自研 rpc调用等原版地址 https://blog.csdn.net/napcleon1/article/details/105402879上一版存在一些问题1.while (true) 循环while(true)循环会一直占用资源导致服务器效率低下2.单线程故障率高3. 多任务模式下(类似kafka 的多个topic) 会创建多个while(true) 线程 及其占用资源.下面直接上代码吧首先写一个类里面有一个 线程安全的 list 用于存放消息impor原创 2022-01-24 12:44:28 · 2112 阅读 · 1 评论 -
上亿数据同步的方法分享
上亿数据同步的方法分享前言kettle 同步jdbc流式查询前言在工作中遇到这样一样场景,我们要从第三方同步一批数据这批数据 对方用的是oracle数据库。 其中一个表里有5亿多数据, 有一百多个字段 ,其中有个clob字段。而且对方的数据库除了主键外 没有任何其他索引 查询很慢。对方给我们开了视图。一开始通过分页的方式同步 一次取2000 前几页数据同步很快 大概一页也就几毫秒就能查询出来 。但是分页越往后 随着rownum的变大 查询就越来越慢了。到后面预计查询一页要一个多小时 。按照这个速度下原创 2020-06-25 20:13:12 · 1408 阅读 · 0 评论 -
大数据开发-关于数据管理的经验分享
这里写自定义目录标题大数据开发-关于数据同步数据管理的经验分享前言数据源的多样性数据格式数据字典不统一合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入大数据开发-关于数据同步数据管理的经验分享大数据开发除了炫酷的报表 、复杂的算法、系统架原创 2020-05-23 09:31:13 · 1674 阅读 · 2 评论 -
利用spring IOC 实现 模块化开发 动态加载 jar包(包括第三方)不需要重启
模块化开发的方式有很多 基于rest、webservice 接口 或者服务器集群结合单点登录或者spring cloud 微服务等方式 。无非就是要实现 在不影响现有系统正常运行的情况下 上线 或者下线某些功能模块。更新系统的时候不影响正常不在更新范围内的功能。保证系统稳定。下面我说一种基于spring IOC 方式实现的动态加载卸载jar文件 来实现模块化开发的功能。这种方式 下各个模块之间...原创 2020-04-13 21:56:18 · 3357 阅读 · 7 评论 -
java 解析 insert语句 提取 出里面的列和参数
最近因为工作需要写了一个工具类 可以从insert语句中提取充每个字段 以及填写的参数。如果参数中存在sql函数 也可以准确提取出来 分享给大家 定义这样一个sqlString insert="insert into test(col1, col2 , col3, \n col4,col5,col6,col7,col8) " + "values('',123,...原创 2020-04-10 19:51:39 · 2318 阅读 · 0 评论 -
Apache POI 读取excel工具类 (回调方式)
基于apache poi 的Excel读取工具类 。通过回调函数的方式处理数据主要代码直接复制使用package com.aheadframework.commons.poi;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.apache.poi.h...原创 2020-04-09 10:29:19 · 296 阅读 · 0 评论 -
java 自定义类 模拟实现消息队列 消费发送功能
mq 消息队列对于每个开发人员并不陌生,消息队列实现了解耦 ,提高运行效率 保证系统稳定。但又存在 数据一致性等其他问题。这些问题都有了解决方案。也不是本篇讨论的问题。我写的模拟消息队列功能 适用于以下场景1、有些项目虽然用到了 mq 开发周期比较短 。或者公司因为成本问题 提供的服务器比较少,配置低。也行只是做个POC 不需要做那么专业。2、有时候尽管你 各种第三方工具(kafka red...原创 2020-04-09 09:44:45 · 761 阅读 · 0 评论