博客专栏  >  架构   >  消息中间件

消息中间件

kafka, rabbitmq, rocketmq,activemq等中间件相关技术

关注
75 已关注
88篇博文
  • Kafka消息格式中的变长字段(Varints)

    kafka从0.11.0版本开始所使用的消息格式版本为v2,这个版本的消息相比于v0和v1的版本而言改动很大,同时还参考了Protocol Buffer而引入了变长整型(Varints)和ZigZag...

    2018-05-13 16:25
    100
  • 一文看懂Kafka消息格式的演变

    摘要 对于一个成熟的消息中间件而言,消息格式不仅关系到功能维度的扩展,还牵涉到性能维度的优化。随着Kafka的迅猛发展,其消息格式也在不断的升级改进,从0.8.x版本开始到现在的1.1.x版本,Ka...

    2018-05-13 16:21
    1856
  • 再看Kafka Lag

    在《Kafka的Lag计算误区及正确实现》一文中提及了kafka.admin.ConsumerGroupCommand.PartitionAssignmentState无法被外部访问,故要么将Part...

    2018-04-21 19:25
    105
  • Kafka解析之topic创建(3)——合法性验证

    前文摘要 在《Kafka解析之Topic创建(1)》这篇文章中,我们讲述了创建Topic的方式有两种: 如果kafka broker中的config/server.properties配置文件中...

    2018-04-18 20:24
    103
  • 集群管理工具KafkaAdminClient——改造

    前文概述 在上一篇文章《集群管理工具KafkaAdminClient——原理与示例》中讲述了KafkaAdminClient的功能以及相应的原理,但是同时也提出了目前的KafkaAdminClien...

    2018-04-18 20:19
    118
  • 集群管理工具KafkaAdminClient——原理与示例

    前言 一般情况下,我们都习惯使用Kafka中bin目录下的脚本工具来管理查看Kafka,但是有些时候需要将某些管理查看的功能集成到系统(比如Kafka Manager)中,那么就需要调用一些API来...

    2018-04-18 20:14
    181
  • 如何获取Kafka的消费者详情——从Scala到Java的切换

    前文摘要 在上一篇文章《Kafka的Lag计算误区及正确实现》中介绍了如何计算消费者的消费滞后量(Lag),并且讲解了如何调用Kafka的kafka.admin.ConsumerGroupComma...

    2018-04-16 23:47
    122
  • Kafka的Lag计算误区及正确实现

    前言 消息堆积是消息中间件的一大特色,消息中间件的流量削峰、冗余存储等功能正是得益于消息中间件的消息堆积能力。然而消息堆积其实是一把亦正亦邪的双刃剑,如果应用场合不恰当反而会对上下游的业务造成不必要...

    2018-04-16 01:19
    310
  • 消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局

    一、前言 消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下提供应用解...

    2018-04-07 00:56
    596
  • Kafka解析之topic创建(2)

    前言 上一篇Kafka解析之topic创建(1)中的介绍了怎样创建一个topic以及对应的replica-assignment参数的一些使用细节,本文继续来讲述一下自动分配方案的具体算法实现,包括未...

    2018-02-10 11:18
    330
  • Kafka解析之topic创建(1)

    在使用kafka发送消息和消费消息之前,必须先要创建topic,在kafka中创建topic的方式有以下2种: 如果kafka broker中的config/server.properties配置...

    2018-02-10 11:15
    857
  • 如何看待消息中间件的选型

    前言 近来有很多网友留言:公司要做消息中间件选型,该如何选?你哪个比较好?我的回答一般是:It’s a nice topic~ 如果随意回答一个的话显得很不严谨也不太负责任,如果严谨的回答的话一天就...

    2018-02-10 11:08
    579
  • Kafka解惑之Old Producer(4)——Case Analysis

    上接: 1. Kafka解惑之Old Producer(1)—— Beginning 2. Kafka解惑之Old Producer(2)——Sync Analysis 3. Kafka解惑之...

    2018-02-02 12:52
    199
  • Kafka解惑之Old Producer(3)——Async Analysis

    上接: 1. Kafka解惑之Old Producer(1)—— Beginning 2. Kafka解惑之Old Producer(2)——Sync Analysis 讲述完了Sync模式下的...

    2018-02-01 16:47
    162
  • Kafka解惑之Old Producer(2)——Sync Analysis

    上接Kafka解惑之Old Producer(1)—— Beginning 欢迎支持《RabbitMQ实战指南》以及关注微信公众号:朱小厮的博客。 一下子扩展的有点多,我们还是先回到Defau...

    2018-01-30 10:19
    181
  • Kafka解惑之Old Producer(1)—— Beginning

    欢迎支持《RabbitMQ实战指南》以及关注微信公众号:朱小厮的博客。 众所周知,目前Kafka的最新版本已经到达1.0.0,很多公司运行的kafka也大多升级到了0.10.x版本,Kafk...

    2018-01-29 12:22
    257
  • RabbitMQ消息可靠性分析

    Introduction 有很多人问过我这么一类问题:RabbitMQ如何确保消息可靠?很多时候,笔者的回答都是:说来话长的事情何来长话短说。的确,要确保消息可靠不只是单单几句就能够叙述明白的,包括...

    2018-01-24 10:15
    866
  • Linux IO磁盘篇整理小记

    起源 本篇起源于对Kafka的一个问题排查,大致的原因是达到磁盘性能瓶颈。在追踪问题的时候用到iostat -x这命令,详细示例如下: 可以看到%idle(%idle小于70%说明IO压力已经...

    2018-01-01 12:15
    776
  • Kafka解析之失效副本

    简介 Kafka从0.8.x版本开始引入副本机制,这样可以极大的提高集群的可靠性和稳定性。不过这也使得Kafka变得更加复杂起来,失效副本就是所要面临的一个难题。 通常情况下,Kafka中的每个分...

    2017-12-20 13:00
    697
  • Kafka监控架构设计

    目前的Kafka监控产品有很多,比如Kafka Manager、 Kafka Monitor、KafkaOffsetMonitor、Kafka Web Console、Burrow等,都有各自的优缺点...

    2017-12-07 13:52
    582
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部