仔仔1993-CSDN博客

原创 DolphinSchedule基于事件驱动的高性能并发编程

本文深入浅出的讲解了DolphinSchedule基于事件驱动的高性能并发任务处理能力的设计。

2023-02-11 08:00:00 1066

原创 windows本地编译调试hbase-3.0.0-alpha-2-SNAPSHOT源码

hbase源码编译

2022-10-13 20:29:23 1134 2

原创 Dolphinscheduler3.0源码分析之XxlJob优化之路

研究Dolphinscheduler也是机缘巧合，平时负责基于xxl-job二次开发出来的调度平台，因为遇到了并发性能瓶颈，到了不得不优化重构的地步，所以搜索市面上应用较广的调度平台以借鉴优化思路。在阅读完DolphinScheduler代码之后，便生出了将其设计与思考记录下来的念头，这边是此篇文章的来源。因为没有正式生产使用，业务理解不一定透彻，理解可能有偏差，欢迎大家交流讨论。

2022-08-23 16:54:49 956

原创 Dolphinscheduler3.0源码分析

研究Dolphinscheduler也是机缘巧合，平时负责基于xxl-job二次开发出来的调度平台，因为遇到了并发性能瓶颈，到了不得不优化重构的地步，所以搜索市面上应用较广的调度平台以借鉴优化思路。在阅读完DolphinScheduler代码之后，便生出了将其设计与思考记录下来的念头，这边是此篇文章的来源。因为没有正式生产使用，业务理解不一定透彻，理解可能有偏差，欢迎大家交流讨论。......

2022-08-05 16:22:18 1720 4

原创 Spring-frameWork-5.0.x源码编译踩坑

Spring-frameWork-5.0.x源码编译踩坑代码下载Gradle安装配置环境变量、配置本地仓库地址修改镜像仓库为国内镜像项目导入问题解决编译时长过长或者编译报javadoc.options的错误自己建的子项目编译报错项目编译成功运行报错编译一直报javadoc相关的错误项目字符集要与工程配置的一致项目镜像仓库更换国内镜像后记spring是java开发工程师避不过去的常用开发框架，能够提供方便的对象管理、低耦合面向切面、对上集成springMvc,Stucts，对下集成Mybatis,Hiber

2022-02-17 14:32:35 1021

原创 XxlJob与Datax-web调度方案源码分析

XxlJob与Datax-Web调度方案源码分析目录前言XxlJob架构设计XxlJob代码实现Admin管理器启动流程作业调度线程池初始化节点注册线程失败作业预警线程完结作业后置处理线程作业日志统计线程作业调度线程Executor执行器启动流程初始化作业路径初始化admin客户端初始化日志过期清理线程作业回调线程初始化Executor作业执行服务核心作业执行业务（run）DataX-web调度方案架构设计DataX-web调度方案代码实现Netty通信方案变化Admin管理器的netty客户端通信逻辑Ex

2021-12-07 18:44:15 1893

原创基于DataX的janusgraph入库性能优化实践

janusgraph入库性能优化实践

2021-04-07 18:51:53 672

原创 Hbase离线数据迁移方案

Hbase离线数据迁移方案考虑到集群间在线直连数据迁移存在的网络、效率、异常处理等问题，本文只介绍hbase数据的离线迁移方案，如想了解在线迁移请移步：[Hbase数据迁移方案实践](https://blog.csdn.net/qq_26777585/article/details/109571764)。方案整体方案依赖的是hbase原生导入导出工具（Export/Import）工具，org.apache.hadoop.hbase.mapreduce.Export下文简介Export，org.apa

2021-01-25 10:54:40 340 2

原创 DataX源码解析与插件开发

DataX源码解析与插件开发DataX是个啥框架设计源码下载与工程编译Job&Task概念物理运行模型源码解析(不包括重入锁和有界阻塞队列)插件开发和调试插件部署Datax源码解析与Writer插件开发Datax是个啥DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、Sq...

2019-09-26 21:10:17 1545

原创记一次cpu占用过高问题排除

目录前言问题定位解决方案后记前言项目采用的是springcloud微服务框架，注册中心选用nacos-1.0.0版本，在项目版本迭代过程中突然出现问题，项目持续运行过程中，出现某个工程查询全部中断，项目从注册中心下线的问题；通过问题定位发现，此项目中存在cpu占用超100%的线程；问题定位项目所有接口报500错误，通过top命令查看到498526进程CPU占用100%，通过jps -ml发现此进程是项目中的某个微服务进程，初步定位到时此微服务出了问题查看这个进程.

2021-05-14 10:15:01 278

原创 Zookeeper原理解析

zookeeper角色领导者：负责发起投票与系统状态更新，完成集群写操作与数据同步 ...

2020-09-13 12:32:00 72

原创 kylin集群解决无法加载到RowKeyWritable类

问题：cdh集成kylin之后，对kylin的cube进行build操作的时候，在Convert Cuboid Data to HFile步骤报错：Class org...

2019-10-28 14:40:00 76

原创 Hbase数据迁移方案实践

hbase数据在集群之间迁移的三种方案如上图所示其中hbase原生工具支持在hbase层面和hdfs层面的hbase表数据迁移 1.在hdfs层面 dis...

2019-08-08 15:05:00 200

原创 JVM内存模型和垃圾回收机制优劣对比

jvm的内存模型和heap的分代模型如上图所示名称是否线程共享存放内容虚拟机栈 ...

2019-08-05 15:32:00 102

原创数据库表设计与前端交互细节

1.对于类型字段最好不要使用tinyint类型，只用 0,1来标识某种业务类型，并用boolean类型去接收，这样做不利于后续义务扩充，特别是产品开发的前中期，产品设...

2019-06-11 09:16:00 209

原创 Graphx处理janusGraph数据实现

声明：此方案是在spark直接执行gremlinSQL方案实现受阻的情况下的备选方案，不涉及工作机密，不存在泄密可能，纯属个人思考，希望抛砖引玉方案：将grem...

2019-05-21 17:52:00 149

原创 proguard混淆maven工程问题总结

1.下载完代码之后，执行maven updateproject，否则打包有可能会有问题2.加入proguard混淆配置之后，proguard混淆的时候回去找所有的第三方jar包路劲，并加入到classpath中，依赖的jar过多，导致加入classpath的jar路劲过长，超过了八千几的长度，报错：Cannot run program “C:\Program Files\Java\jdk1.8...

2018-12-27 17:34:54 1627

原创 MONDRIAN支持的常用mysql函数

数值函数MAX Caclulatedmember实现MIN Caclulatedmember实现AVG Caclulatedmember实现SUM Caclulatedmember实现PERCENT （分解为toppercent,bootompercent）采用Namedset实现字符串函数CONCAT...

2018-12-20 15:19:33 192

原创 Kylin集群部署和cube使用

Kylin集群部署和cube使用安装集群环境节点 Kylin节点模式 Ip 内存磁盘 Node1 All 192.167.71.11 2G 80G Node2 ...

2018-12-20 15:18:45 406

原创 Kylin设置JDBC配置greenplum数据源

kylin最开始的时候支持hive和kafka作为数据源，从2.3.0版本之后开始支持JDBC作为第第三种数据源。用户可以自定义的数据库或者数据仓库到自己的kylin集群。比如，mysql，postgresql，greenplum等。支持原理需要了解到的是，kylin设置完jdbc作为数据源，是通过sqoop来实现的，他并不是摒弃了底层的hive，而是使用sqoop将你配置的数据源的数据抽取到...

2018-12-20 15:17:14 1251 2

原创 Centos7安装greenplum遇到的问题

问题1：gpcheck的时候xfs文件系统报错20180725:09:02:10:002498 gpcheck:bigdata-3-22:hahahahah-[INFO]:-dedupe hostnames20180725:09:02:10:002498 gpcheck:bigdata-3-22:hahahahah-[INFO]:-Detected platform: Generic Linu...

2018-12-20 15:16:22 506