2021年05月_爱欧米

11月 08月 06月 05月 04月 03月 01月

原创 3、Canal-配置类-dynamicTopic详细解

这是Canal instance实例中的动态topic配置，这点在作者官方文档说明的不是很清楚网上的文档也比较乱七八糟尝试过几种配置都不行，我尝试通过代码调试的方式一点点摸索出规律，下面给总结下。#表过滤规则格式：库\\..* 说明：过滤tms_0下面所有表，这个配置什么用？#应为binlog是mysql所有库实例共享的，换句人话就是你可以拉到别的库实例binlogcanal.instance.filter.regex=tms_0\\..*# mq config#默认topic就是匹配规则

2021-05-26 23:36:12 2818 3

原创 Canal-源码-Canal启动入口类

学习中间件最好的方法是读源码，读源码最好的方式是调试一遍。调试第一步就是找中间件的入口。下面带着这几个问题找源码入口类及分析。后续的文章都是基于Canal 1.1.4版本做源码分析，咨询过Canal作者其核心代码几个版本都没有变化过。本文是笔者基于问题的启发式源码阅读技巧的展示，建议带着如下问题开始本文的阅读:如何找到Canal入口类？入口类CanalLauncher.class做了什么？Canal使用什么技术？一、如何找到Canal入口类在Canal的bin文件夹startup.sh下

2021-05-24 01:30:17 505

原创 1、Canal-源码-Canal启动入口类

学习中间件最好的方法是读源码，读源码最好的方式是调试一遍。调试第一步就是找中间件的入口。下面带着这几个问题找源码入口类及分析。本文是笔者基于问题的启发式源码阅读技巧的展示，建议带着如下问题开始本文的阅读:如何找到Canal入口类？入口类CanalLauncher.class做了什么？一、如何找到Canal入口类在Canal的bin文件夹startup.sh下我们发现有一个类com.alibaba.otter.canal.deployer.CanalLauncher好像是Canal的入口类.

2021-05-20 19:32:42 376 1

转载 2、Canal-Canal配置参数解释

https://www.dazhuanlan.com/2020/02/03/5e36f84c38f11/

2021-05-19 09:56:22 603

转载 1、Canal-Canal设计方案

https://blog.csdn.net/javazyw/article/details/103063669

2021-05-19 09:31:23 102

原创 4.Canal-Canal性能测试

最近项目需要需要变更数据，项目的数据链条Mysql(binlog)-->Canal-->RocketMq-->ES。由于以前生产环境出现Canal消费不及时导致堵塞发生故障，故本次在测试环境上测试Canal性能。本次压测的目的：第一个目的：测试出Canal的吞吐量，为生产环境数据切割做参考，第二个目的：找到导致Canal性能问题的原因，为后续的优化及项目架构做准备。一、硬件配置硬件环境 Canal节点环境 CPU 内存磁盘读写速度 vm-lw-basic-

2021-05-18 17:35:02 2453 1

原创 3.apollo-apollo踩坑记录

2021 04:28 13:47:56 运维反馈我们有一个系统发布失败。打开日志发现大量的警告异常。2021-04-28 13:46:21,922 WARN [localhost-startStop-1] [AbstractConfigRepository.java:26] Sync config failed, will retry. Repository class com.ctrip.framework.apollo.internals.RemoteConfigRepository, reas

2021-05-17 15:18:44 4496 4

原创 00、杂记录(后续删除)

1、LineBasedFrameDecoder.decode() /*处理netty消息长度方法*/

2021-05-12 18:48:41 97

原创 11、Netty-源码-EventExecutor分析

待更新

2021-05-11 14:35:53 109

原创 1、Netty-架构-通用完美的Netty通讯架构实现

待更新【认证、限流、心跳、防止堵塞、大面积离线快速上线问题】

2021-05-10 14:52:50 158

原创 32、Netty-可靠性保证-服务端内存保护

待更新

2021-05-10 14:33:56 140

原创 31、Netty-可靠性保证-如何感知底层IO异常

待更新底层io异常有netty感知并抛出

2021-05-10 14:30:43 104

原创 30、Netty-可靠性保证-如何关闭通讯链路

待更新

2021-05-10 14:29:14 124

原创 10、Netty-源码-ByteBuf源码解读

待更新

2021-05-10 13:38:29 88

原创 2、Netty-基础理论-如何设计Netty心跳机制、重连机制、重复登录保护设计

待更新-心跳如何验证（多次心跳失败，才标记链路失效？我们目前的设计有问题）

2021-05-10 13:16:56 205

原创 23、Netty-使用-Netty多协议支持之同时支持TCP、Http

待更新

2021-05-10 11:13:19 1376

原创 22、Netty-功能-Netty使用的编码优劣讨论

待更新

2021-05-10 10:45:50 63

原创 21、Netty-功能-如何解决粘包、拆包、半包问题

待更新

2021-05-10 10:37:26 124

原创 9、Netty-源码-ChannelHandler解读

待更新

2021-05-08 17:59:42 70

原创 8、Netty-源码-EventLoopGroup解读

待更新

2021-05-08 17:57:37 70

原创 7.Netty-源码-SimpleChannelInboundHandler解读

待更新

2021-05-08 17:40:15 193

原创 6.Netty-源码-IdleStateHandler心跳解读

待更新

2021-05-08 17:36:07 81

原创 5、Netty-源码-ChannelPipeline解读

待更新

2021-05-08 16:49:22 80

原创 4、Netty-系统配置-Linux关于TCP配置最佳实现

待更新

2021-05-08 16:04:07 273

原创 0、Netty-踩坑-生产环境问题记录

一、Netty channel timeout大量新增问题场景描述：比如生产有10000台机器，就是偶尔有几百台机器下线，查询程序运行正常、CUP、网络、业务量都正常，机器下线原因是由于Channel TimeOut导致。为什么导致Channel TimeOut？可能原因网络断开、心跳丢包、心跳堵塞。待排查二、Netty 设备新增上线导致设备离线率大量上升问题场景描述：比如生产环境有10000台机器，平时每秒离线率在1%，但是有新增1000台机器将要上线，此时机器离线率大量上升比如上升到5.

2021-05-08 15:15:43 331 2

原创 3、Netty-框架-工作流程及相关类功能解释

待更新

2021-05-08 14:36:15 81

原创 12、Netty-源码-shutdownGracefully[进行中]

关闭应用分为两种方式，一种方式强杀用户进程，导致应用没有机会保证正在处理工作的完整性，具体表现在丢失数据、数据损坏、数据重复等问题。那么我们关闭应用就应该采用稳定靠谱的方式关闭应用，等待应用完全处理完毕当前的任务并无新任务进来在关闭应用，这种方式叫优雅关机。下面我们从JVM优雅关机慢慢过渡到Netty的优雅关机。一、导致JVM关闭的原因分析JVM关闭前，我们需要了解什么情况下JVM会关闭。JVM强制关闭：系统关机[系统会通知JVM关闭，如果JVM关闭超时会强制关闭]、kill -9、Runti

2021-05-08 13:24:23 774