【Apache TubeMQ】说开始

最新推荐文章于 2024-04-09 09:57:29 发布
最新推荐文章于 2024-04-09 09:57:29 发布
阅读量229 收藏
点赞数
文章标签： 大数据 中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21218827/article/details/106091424
版权

一直想找一个地方，专门介绍下TubeMQ，包括现在的方案考虑，使用注意事项，后续的一些技术演进思路构想，实现情况的交流等，行文可以不那么正式的那种，关键是可以说中文，更好表达思路的那种

平时经常用CSDN做相关的技术问题检索，有点类似我们内网的KM，个人感觉CSDN可能更适合做技术的交流，同时也注意到，TubeMQ新推出时CSDN很快就捕捉到了，并且CSDN的专家还专门写了一篇文章做了介绍，来而不往非礼也，就先把这个个人博客放在这里。

就这样，头篇介绍，算做开始

 

 

Goson_zhang
关注
【Apache TubeMQ】Apache TubeMQ，大数据场景下的新选择
qq_21218827的博客
03-15 130
前言 本文内容是一篇PPT，TubeMQ对外部宣讲时使用，比较系统的的介绍了大数据场景下MQ遇到的技术难点，TubeMQ相比其他MQ，TubeMQ的特点，使用它的优势，实现原理，以及后续社区的发展考虑。 从内外交流的情况来看，在已有一个被大家广泛认知的产品存在的前提下，一个新产品做得再好也是很难快速地被外部所接纳，除非外部遇到了特别大的压力、深入灵魂的问题困扰时，才会在从上到下的压力传导下寻求改变，比如机器成本突增、技术人员储备不足难以应付突发问题等，才会不得不开始寻找新方案寻求对问题的解决。 这篇文章就如
【Apache TubeMQ】Apache TubeMQ使用时要注意什么？
qq_21218827的博客
01-15 251
1. 前言 Apache TubeMQ使用时要注意哪些点？为什么要这么设计？我把初次接触本系统的同学提到最多的几个问题在这里汇总解答下，便于大家了解。 2. 问题 2.1 为什么Broker要先配置再使用？ 这个应是Apache TubeMQ在使用体验上与其他MQ的最大不同，如下图所示，集群要先部署Master；Master部署好Broker上线前，要先在Master配置好Broker相关配置，并调整其状态为上线状态后，Broker才能加入集群对外服务。TubeMQ为什么要这样设计，为什么不能如其他MQ，比
TubeMQ：TubeMQ专注于大数据场景下海量数据的高性能存储和传输
02-15
这是Apache TubeMQ的旧存储库，TubeMQ已捐赠给Apache Software Foundation。 请使用新的Apache邮件列表，站点和存储库： 邮件列表： （使用订阅） 网站： ： 仓库： : 管MQ TubeMQ是腾讯大数据自2013年以来开发的分布式消息队列（MQ）系统。它专注于大数据场景中海量数据的高性能存储和传输。 经过近七年的海量数据沉淀，与许多开源MQ项目相比，TubeMQ在生产实践（稳定性+性能）和低成本方面具有一定优势。 最近，我们为TubeMQ项目开源了相关代码和设计。 您可以在/ docs下找到更多信息和文档。 更多信息和文档（英文）将很快上载。 文献资料 如有其他问题，请联系我们： ，
TubeMQ 万亿级分布式消息中间件
ejinxian的专栏
12-21 483
TubeMQ是腾讯在2013年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近7年上万亿的海量数据沉淀，目前日均接入量超过25万亿条。较之于众多明星的开源MQ组件，TubeMQ在海量实践（稳定性+性能）和低成本方面有着比较好的核心优势 TubeMQ User Guide: https://github.com/Tencent/TubeMQ/...
玩转TubeMQ_v0.0.1_持续更新。。。
般若
09-15 9650
下载源码 git clone https://github.com/Tencent/TubeMQ
探秘腾讯开源的 TubeMQ：大规模消息队列系统
最新发布
gitblog_00057的博客
04-09 479
探秘腾讯开源的 TubeMQ：大规模消息队列系统 去发现同类优质开源项目:https://gitcode.com/ 项目简介 是腾讯内部广泛使用的一款高性能、高可靠性的分布式消息中间件，它在2019年正式开源。TubeMQ设计的目标是解决大数据场景下的实时数据处理问题，提供低延迟、高并发的消息传输服务。 技术分析 分布式架构 TubeMQ 采用主备模式的分布式集群架构，确保系统的高可用性。每个 T...
4. TubeMQ的Apache之路 - 张国成.pdf
07-21
技术文档分享，免费获取请私信博主。
incubator-inlong-website:Apache Tubemq
08-04
TubeMQ 官网 本项目保留所有用于建立TubeMQ官网的资源，为 先决条件 TubeMQ 网站由 docsite。 如果您的 docsite 版本低于1.3.3 ，请升级到1.3.3 。 还请确保您的节点版本为 10.16.x，docsite 尚不支持高于 10.16.x 的版本。 构建说明 运行npm install docsite -g来安装开发工具。 在根目录中运行npm i以安装依赖项。 在根目录下运行docsite start启动本地服务器，你会看到' '中的网站。 运行docsite build以构建源代码。 如果你安装了更高版本的 node，你可以考虑nvm允许不同版本的node在你的机器上共存。 按照安装 nvm 运行nvm install v8.16.0安装 node v8 运行nvm use v8.16.0切换工作环境到node v8 运行npm
【Apache TubeMQ】Apache TubeMQ数据可靠性介绍
qq_21218827的博客
01-18 317
1. 前言 我们在Apache TubeMQ的适用场景有介绍，TubeMQ适用于极端情况下容忍少量数据丢失的业务场景，那么TubeMQ到底在什么情况下可能会出现数据丢失？为什么要这么设计？同类MQ在这方面是怎么做的？这篇文档计划解答这几个问题。 2. 结论 Apache TubeMQ系统数据存储采用的是单节点多磁盘RAID10的副本方案进行存储，数据只在如下场景存在可能丢失情况： 机器断电，已回复成功但还没有被消费且处在内存中的数据会丢；机器上线后，已存储在磁盘上的数据不受影响； RAID10 hold不
apacheActiveMQ(一)
一点一滴 一天一天
05-12 405
ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现，尽管JMS规范出台已经是很久的事情了，但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。
TubeMQ源码构建运行
uuqaz的博客
04-07 238
准备工作 简介 TubeMQ是一款开源的分布式消息中间件，采用Protocol Buffer构建消息对象模型。于2019年9月12日开源，即中秋 前一天。 下载 安装 git 等工具 简单粗暴git直接拉取 git clone https://github.com/Tencent/TubeM 源码结构 整体结构 结构释义 可见暂时支持Linux启动、打包可配置化 、丰富的Demo。 试用 牛刀小试 编译 点击生产者Demo运行，报错： Error:(26...
M02.MQ之腾讯开源消息中间件TubeMQ
KimmKing的技术博客
11-18 1337
随着分布式技术的发展，MQ技术产品也出现井喷。目前除了各类常用的MQ，比如Apache的ActiveMQ，Kafka，Pulsar，RocketMQ（既是Apache，也是阿里的，头条也是基于RocketMQ），以及RabbitMQ（美团、汽车之家大量使用）外，各大厂商都自研了自己的产品，腾讯的CMQ和TubeMQ，京东的JMQ，去哪儿的QMQ，滴滴的DDMQ（基于RocketMQ），其中不少都开...
【kafka原理】Kafka生产者 (分区策略和ACK应答机制)
石臻臻的杂货铺(szzdzhp001)
10-28 2453
分区策略 分区原因 方便再集群中扩展,每个Partition可以通过调整以适应它所在的机器,而一个topic又可以有多个Partition组成,因此整个集群就可以适应任意大小的数据了; 可以提高并发,因为可以以partition为单位读写 分区原则 我们需要将producer发送的数据封装成一个ProducerRecord对象 指明 partition 的情况下，直接将指明的值直接作为 partiton 值; 没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 t
如何评价腾讯开源的消息中间件TubeMQ？
张Q的专栏
09-15 504
周五晚上无聊，粗粗撸了一遍代码+性能测试文档，随便扯扯吧。主要分为亮点、槽点、瓶颈分析三块，理解有问题的话欢迎大家指出来。 亮点 结构相对清晰，流程简单一目了然 每个分区一个逻辑存储的设计，在一定程度上增大了写盘之前处理的并发数（这点会在瓶颈分析部分） 自建缓存的设计使得写盘相对可控，不会污染pagecache导致写放大 槽点 不可靠。没有落盘就进行ack，在大多数金...
腾讯万亿级分布式消息中间件TubeMQ正式开源
腾讯开源
09-12 7473
TubeMQ是腾讯在2013年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近7年上万亿的海量数据沉淀，目前日均接入量超过25万亿条。较...
apacheActiveMQ
胡萝卜爷爷
11-26 101
这是一篇特别好的翻译文档，谢谢了，很全面的  研究activemq的文档 标签： activemqsessionjmscmsstringthread 2011-12-06 11:00 1044人阅读 评论(0) 收藏 举报  分类： activemq（1）    目录(?)[-] 转httpblogcsdnnettommy_lgjarchi...
日均350000亿接入量，腾讯TubeMQ性能超过Kafka
热门推荐
AI科技大本营
11-19 1万+
整理 | 夕颜出品 | AI科技大本营（ID:rgznai100）【导读】近日，腾讯开源动作不断，相继开源了分布式消息中间件TubeMQ，基于最主流的 OpenJDK8开发的Tencent Kona JDK，分布式HTAP数据库 TBase，企业级容器平台TKEStack，以及高性能图计算框架Plato。短短一周之内，腾讯开源了五大重点项目。其中，TubeMQ是腾讯大数据平台部门应用的核心组件，...
kafka与RocketMQ对比
iie_libi的博客
03-02 1949
kafka与rocketmq的差异，参考链接：http://jm.taobao.org/2016/03/24/rmq-vs-kafka/ 总体 kafka无限消息堆积，高效持久化，适合海量日志处理rocketmq增加了事物支持，适用于订单，交易，充值等场景，支持定时消息，消息重试，消息回溯，广播消费，消息轨迹查询，消息查询等。 消息可靠性 rocketmq支持同步刷盘，异步刷盘
【MQ】为什么选择RocketMQ？
哈士奇
05-29 5893
一、前言      提到mq，可能很多朋友都有多耳闻，很多大公司都在使用这种技术。就小编而言，听说使用mq可以进行秒杀的操作，而且使用十分的方便，效率十分的高。以前小编也做过关于秒杀的技术，就是使用悲观锁对DAO进行操作，通过加锁使得线程单一。但是上亿条数据访问数据库也是对数据有很大的压力的。所以我们可以在DAO和数据库之间加入一个MQ，他的承载数据的能力非常强，有什么就直接向这个里面装就可以了。然
一文搞懂RocketMq
恶心的小达达
08-12 3464
基本概念 下面是一张 RocketMQ 的部署结构图，里面涉及了 RocketMQ 核心的四大组件：Name Server、Broker、Producer、Consumer ，每个组件都可以部署成集群模式进行水平扩展。 生产者 生产者（Producer）负责产生消息，生产者向消息服务器发送由业务应用程序系统生成的消息。 RocketMQ 提供了三种方式发送消息：同步、异步、单向。 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值