wenchun001的博客

Shenyu官网数据同步设计方案如下面图，同步方式支持Zookeeper、Http 长轮询、Websocket、Nacos、Etcd和Consul等。我们选择的时候，要小心配置参数，这里我以官网http和自实现的nacos为例。介绍Shenyu-admin从nacos同步数据方案。

2，创建 OrderEvent类，这个类将会被放入环形队列中作为消息内容。创建OrderEventFactory类，用于创建OrderEvent 事件。1，创建Event(消息载体/事件)和EventFactory (事件工厂)创建 OrderEventProducer 类，它将作为生产者使 用。单生产者单消费者模式。

【数据结构】Disruptor环形数组无锁并发框架阅读

【并发编程】ShenyuAdmin里面数据同步用到的无锁队列LMAX Disruptor并发框架

MySQL的主从复制模式包括异步复制，全同步复制，半同步复制。MySQL默认为异步模式。MySQL5.7引入了一种新的半同步方案，并且在5.7引入了一个新的参数，rpl_semi_sync_master_wait_point，这个参数有两种取值，1）AFTER_SYNC 2)AFTER_COMMIT 前者是新的半同步方案后者为老的半同步方案。

【数据库】MySQL主从同步失败或重启后需要重新配置同步，主从同步延迟解决方案：架构方面1.业务的持久化层的实现采用分库架构，mysql服务可平行扩展，分散压力。2.单个库读写分离，一主多从，主写从读，分散压力。这样从库压力比主库高，保护主库。3.服务的基础架构在业务和mysql之间加入memcache或者redis的cache层。降低mysql的读压力。4.不同业务的mysql物理上放在不同机器，分散压力。5.使用比主库更好的硬件设备作为slave

【数据仓库】常用数据集成工具对比

Kettle作业和转换任务文件的保存

BI数据可视化，Superset绘制地图，需要关联国家编码。ISO 3166-2 CODES国家城市编码，中国地图.

【ETL实战】kettle分批读取大表数据，发现kettle非常占用内存，排查服务器资源情况，发现是polkitd进程

数据仓库分层框架，介绍ODS,DIM,DWD,DWS,ADS各个分层的计算和存储框架分析

Kettle多表数据迁移转换方案

执行job的地方在：com.wugui.datax.executor.service.jobhandler.ExecutorJobHandler。是不是很熟悉，看到这里有执行任务的日志输出，哈哈😄：com.wugui.datax.admin.core.trigger.JobTrigger。两处都会触发job，到同一处：com.wugui.datax.admin.core.thread.JobTriggerPoolHelper。继续往下找到执行datax任务的地方。接下来 看看他的线程任务情况吧。