- 博客(7)
- 收藏
- 关注
原创 【Apache TubeMQ】Apache TubeMQ,大数据场景下的新选择
前言本文内容是一篇PPT,TubeMQ对外部宣讲时使用,比较系统的的介绍了大数据场景下MQ遇到的技术难点,TubeMQ相比其他MQ,TubeMQ的特点,使用它的优势,实现原理,以及后续社区的发展考虑。从内外交流的情况来看,在已有一个被大家广泛认知的产品存在的前提下,一个新产品做得再好也是很难快速地被外部所接纳,除非外部遇到了特别大的压力、深入灵魂的问题困扰时,才会在从上到下的压力传导下寻求改变,比如机器成本突增、技术人员储备不足难以应付突发问题等,才会不得不开始寻找新方案寻求对问题的解决。这篇文章就如
2021-03-15 13:47:47
121
原创 【Apache TubeMQ】Apache TubeMQ性能影响因子分析
1. 前言:我们在应用Apache TubeMQ时,该如何配置它的参数才能使系统的性能达到最优?有哪些坑会影响到系统的性能我们要提前关注?生产和消费份数对整体的入出流量影响情况是怎样?本篇文档引用的是2018年测试数据,但不影响大家对些问题的理解和掌握。通过调整各个参数值来获取其对TubeMQ系统性能的影响情况后,大家基本上就清楚了各个因子对系统性能的影响,方便大家基于此展开相关的线上操作。大家也看得到各个因子的组合非常多,应用前也可以按照我们方案进行复核和改进,如果有获取到更好的参数配比,欢迎给贡献社
2021-01-25 10:15:32
167
原创 【Apache TubeMQ】Apache TubeMQ的Benchmark测试解读
1. 前言Apache TubeMQ的Benchmark测试项为什么要这么设计?每一个场景反馈了哪些内容,是否是为了放大TubeMQ的优点而做的针对性场景定义?和其他MQ的Benchmark测试用例相比异同点在哪里?这篇我们一起来做TubMQ的Benchmark测试项及测试结果的解读。2. 说在前面TubMQ的Benchmark测试项及测试结果报告tubemq_perf_test_vs_Kafka包含在项目的website里没有直接显现在页面上展示,主要是开源时团队内部做过讨论,无意去做PK赛,所以需
2021-01-21 11:25:30
159
原创 【Apache TubeMQ】Apache TubeMQ数据可靠性介绍
1. 前言我们在Apache TubeMQ的适用场景有介绍,TubeMQ适用于极端情况下容忍少量数据丢失的业务场景,那么TubeMQ到底在什么情况下可能会出现数据丢失?为什么要这么设计?同类MQ在这方面是怎么做的?这篇文档计划解答这几个问题。2. 结论Apache TubeMQ系统数据存储采用的是单节点多磁盘RAID10的副本方案进行存储,数据只在如下场景存在可能丢失情况:机器断电,已回复成功但还没有被消费且处在内存中的数据会丢;机器上线后,已存储在磁盘上的数据不受影响;RAID10 hold不
2021-01-18 14:48:11
300
原创 【Apache TubeMQ】Apache TubeMQ使用时要注意什么?
1. 前言Apache TubeMQ使用时要注意哪些点?为什么要这么设计?我把初次接触本系统的同学提到最多的几个问题在这里汇总解答下,便于大家了解。2. 问题2.1 为什么Broker要先配置再使用?这个应是Apache TubeMQ在使用体验上与其他MQ的最大不同,如下图所示,集群要先部署Master;Master部署好Broker上线前,要先在Master配置好Broker相关配置,并调整其状态为上线状态后,Broker才能加入集群对外服务。TubeMQ为什么要这样设计,为什么不能如其他MQ,比
2021-01-15 19:10:37
232
原创 【Apache TubeMQ】什么场景下适合用Apache TubeMQ?
1. 前言:Apache TubeMQ是腾讯于2019年对外开源后捐献给Apache的新一代MQ,其源于腾讯公司的实际生产环境,专注服务海量数据的高性能存储和传输,在MQ已是红海的今天(仅Apache就已经有5个MQ),较之于众多的开源MQ组件,Apache TubeMQ到底有些什么特点,我们在什么场景下适用,应用这个产品能给我们带来什么好处?本文想从这点进行介绍。2. 什么场景下适用 Apache TubeMQ?总结起来,主要是如下场景:数据上报量太大,普通MQ支撑不住;普通MQ能抗住,但消耗
2021-01-13 19:27:25
191
2
原创 【Apache TubeMQ】说开始
一直想找一个地方,专门介绍下TubeMQ,包括现在的方案考虑,使用注意事项,后续的一些技术演进思路构想,实现情况的交流等,行文可以不那么正式的那种TubeMQ新推出时,CSDN很快就捕捉到了,并且CSDN的专家还专门写了一篇文章做了介绍,来而不往非礼也,而且也觉得CSDN更适合做技术的交流,类似我们内网的KM,就先放在这里。头篇介绍,这就开始了。...
2020-05-13 10:07:23
212
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人