- 博客(9)
- 收藏
- 关注
RSS订阅原创 一次跨机房的kafka方案选型
因为公司策略变更，由之前的国外市场，转而发展国内市场，因此对架构提出了更高的要求，因此也产生了更多的需求，如何高效的利用现有架构满足不断变更的业务需求成为最大的问题。背景：公司最早为了满足国外的市场需求，在新加坡自建了自己的idc机房，因此最早，公司所有的基础服务、业务服务、大数据集群，都是部署于自建的新加坡IDC内，为了方便管理新加坡IDC机房，在北京永丰搭建了属于自己的IDC机房，通过跨国...
2019-07-07 12:07:29
2005
原创 canal踩坑之路
上周公司决定使用canal来做binlog日志的解析结果这件事就落到了我们架构组。经过研究决定我们架构组将mysql的binlog日志解析为VO对象发送到kafka上，后端业务通过消费对应kafka的日志来拿到对应表的日志信息。决定了之后就要开始动手做了开始踩坑之路原生架构分析原生架构在1.1之前是不支持将binlog信息直接解析到kafka上的，而且分析完1.0和1.1的代码结构后...
2019-06-23 11:42:00
3154
原创 架构迁移之路
一次基础架构切换的总结迁移之路面临的挑战整体计划规划提高kafka稳定性agent改造替换无源码的中间件总结迁移之路面临的挑战2018年前任架构师离开博主现在任职的公司，因为某些原因，导致公司现有使用的架构中间件并没有源码，而博主当时因为入职时间并不长，而且当时因为博主所在的部门裁员，博主被调到了大数据部门，博主当时刚刚休完陪产假很不幸，如果当时没有休陪产假或许后面的小插曲会少很多。可是新...
2019-06-01 13:48:31
781
原创 flume组件HTTPSource解析
HTTPSource是flume的一个专门监听http请求的组件，主要负责在机器中打开某个端口，接收日志请求，并将日志发送到chanel中。
2016-10-14 16:00:11
4736
2
原创 flume源码分析
随着大数据的流行，对日志的采集工作越来越重要，而flume则是专门为采集日志而设计的，因为篇幅有限，这里紧紧对flume启动时关键的类进行说明！
2016-09-30 11:34:15
1366
原创 storm-jdbc解析
strom为了方便程序员的开发，提供了对jdbc的封装，对外总共有三个类： 1：AbstractJdbcBolt 是对jdbc的抽象类，下面两个类是对这个抽象类的具体实现 2：JdbcInsertBolt 是对jdbc插入操作的封装，主要是对数据库进行插入操作，没有返回值，是bolt的终点 3：JdbcLookupBolt 是对jdbc查找操作的封装，主要是对数据库进行查找操作，以查找结
2016-09-23 11:55:39
1711
原创 strom的TimeCacheMap和RotatingMap比较和升级
随着storm发布TimeCacheMap缓存类也不在被storm推荐使用，取代TimeCacheMap的是RotatingMap。今天就来比较一些这两个类在使用场景上的区别 看TimeCacheMap/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license ag
2016-09-02 13:34:50
1283
原创 mycat初使用体验与分库分表
引言：MyCat截至到2015年4月，保守估计已经有超过60个项目在使用，主要应用在电信领域、互联网项目，大部分是交易和管理系统，少量是信息系统。比较大的系统中，数据规模单表单月30亿。在以前的项目中有幸也使用了一些分库分表的插件，今天就无事想把这两种框架搭建起来比较一下性能和适用场景！mycat号称分库分表，但看实际配置文件通过配置可以看到对于同一张表确实进行了分库，但是分表却没有！
2016-08-25 11:55:02
13165
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人