johnhuster的专栏

java kafka客户端何时设置的kafka消费者默认值

rocketmq5.x创建topic

ReplyingKafkaTemplate源码分析

kafka之请求响应模式

错误日志：2019-10-11 17:50:48.744 WARN []-[o.a.k.clients.consumer.ConsumerConfig :173] The configuration num.replica.fetchers = 1 was supplied but isn't a known config.2019-10-11 17:50:48.747 INFO []-[o.a.kafka.common.utils.AppInfoParser :82] Kafka version :

笔者最近在使用rocketmq时，使用部署在docker中的rocketmq就会报“org.apache.rocketmq.client.exception.MQClientException: No route info of this topic”异常，win10本地启动同版本的rocketmq release库没有任何问题，搜索了许久仍然没有找到问题，关于这个问题，部分原因在笔者，笔者没有完...

kafka-eagle是一款不错的kafka监控平台，笔者觉得比kafka-manager可用性要好些，官网地址为www.kafka-eagle.org，下面给出几个使用页面：官网仅给出了非docker部署方式，但是docker部署已经成为了一种趋势，且能让kafka集群不对外暴露端口的前提下完成对kafka的监控，下面给出kafka-eagle构建流程：1、下载需要版本的kafka-eagle，笔者使用的是2.0.3版本，对应文件为kafka-eagle-web-2.0.3-bin.tar

kafka是使用十分广泛的一款消息中间件，凭借其强大的吞吐以及可靠性获得了不错的口碑，其在大数据传输方面也有应用，wurstmeister/kafka是目前使用最多的一个kafka docker镜像。kafka的副本数在kafka的高可用性上有着至关重要的作用，笔者的一篇文章中说到了可以通过KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR设置__consumer_offsets主题的副本数，__consumer_offsets主题是用来存储其他主题各个分区消费进度的主题，这是ka

新版本的kafka会把每个主题消费进度保存在kafka所在机器的__consumer_offsets主题下面，该主题默认副本数为1，当一台机器down掉后，该机器保存的主题消费进度就会丢失，为了保证kafka的高可用，我们必须保证__consumer_offsets的副本数大于1，比如3台kafka集群时可以设置副本数为2，这样当其中一台kafka服务down掉后，仍能保证kafka集群的高可用性，为了实现这个目的，只需在启动kafka docker服务时传入副本参数配置即可，下面以dockcer-comp

可以通过修改kafka broker的server.properties配置文件的auto.create.topics.enable来开启主题自动创建功能，如果相关闭主题自动创建功能，设置auto.create.topics.enable=false即可，自动创建主题默认创建一个分区，为了提高kafka吞吐量，我们可以根据实际需要通过修改num.partitions这个配置来调整默认创建主题的分区数num.partitions=50 就意味着默认为每个自动创建主题创建50个分区...

1. 消费者组的特点这是 kafka 集群的典型部署模式。消费组保证了：一个分区只可以被消费组中的一个消费者所消费一个消费组中的一个消费者可以消费多个分区，例如 C1 消费了 P0, P3 。一个消费组中的不同消费者消费的分区一定不会重复，例如：C1 -> P0、P3C2 -> P1、P2所有消费者一起消费所有的分区，例如 C1 和 C2 共同完...

笔者启动kafka后提示WARN Connection to node 0 could not be established. Broker may not be available. (org.apache.kafka.c错误，网上查了下都没有解决，最后笔者的解决方法是：注释掉listeners配置：#listeners=PLAINTEXT://127.0.0.1:9093具体原因以...

最终查到原因是widows 的ICS服务导致的，解决方案：控制面板\所有控制面板项\管理工具选择组件服务，关闭ICS服务即可，为了防止下次电脑开机时自动开启，将ICS服务启动类型设置为手动即可！...

启动activemq后，我们可以通过登录activemq管理页面查看上述信息，需要注意的是Messages Dequeued与Messages Enqueued是会随着activemq服务端的启动清零的，而Number Of Pending Messages则不会清零！！...

JMS标准支持的消息应答模式有下面几种：AUTO_ACKNOWLEDGE：自动应答，默认的应答方式CLIENT_ACKNOWLEDGE：客户端应答，应答由应用程序在接收到消息后触发DUPS_OK_ACKNOWLEDGE：尽量不要使用，如果使用这种方式，应用程序需要考虑处理消息重复问题SESSION_TRANSACTED：事务应答使用MessageConsumer来接收消息时不管...

在实际使用activemq时，可以通过brokerUrl或者connection url中传递一些参数来影响broker往consumer发送以及处理消息的方式， Option Name Default Value Description consumer.dispatchAsync true ...

activemq是如何实现消息分组的

虚拟主题是activemq提供的一种结合了queue与topic特性的一种虚拟目的地，虚拟主题兼顾了queue的负载均衡，同时又可以当topic一样使用，下面看一个图： 实际使用场景：分布式应用，这样可以避免同一个应用订阅同一个主题时导致必须修改clientId的限制，同时又可以在同一个应用的不同进行负载均衡，相关代码可以在下面的地址下载：https://gitee.com/j...

对activemq消息订阅模式来说有两种：持久订阅/非持久订阅。非持久订阅consumer只能消费在该consumer激活状态时传送给对应topic的消息才能被该consumer消费，一旦该consumer 挂掉到下次启动期间发布到该topic的消息不能被该consumer重新恢复时使用！！！持久订阅：订阅之后，无论消息是否是在该consumer激活或者down掉期间发送的，最终都会被该c...

  activemq客户端调用MessageListener.onMessage方法的执行路径如下：ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)-->ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)-->org.apache.activ...

activemq提供的客户端分离了消息的读取以及接收，以Queue模式为例，这其中的中介就是ActiveMQMessageConsumer的unconsumedMessages属性(MessageDispatchChannel unconsumedMessages，该属性存储了将要被发送的消息)，下面就以ActiveMQMessageConsumer：receive为例来说明读取消息：    ...

消息筛选器来在provider端过滤消息，只有当消息属性满足一定的条件，才将这些消息传送给对应的consumer！！！注：该特性只能作用于消息头以及消息属性，不能用来筛选消息体！实例代码：String filter = "sign = 'golang'";      MessageConsumer messageConsumer = session.createConsumer(d...

通过MessageProducer的setJMSDeliveryMode方法设置的模式可以影响发送消息的传送模式，为什么通过message.setJMSDeliveryMode设置的传递模式却没有影响传送消息的传递模式，下面以Queue为例来看下为什么会出现上面的情况：ActiveMQMessageProducerSupport:public void send(Message mes...

activemq-all导致的Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflowError activemq-all

Kafka简介Kafka概述：Kafka由 linked-in 开源 。kafka-高产出的分布式消息系统(A high-throughput distributed messaging system)。Kafka是一个高吞吐、分布式、基于发布订阅的消息系统，利用Kafka技术可以在廉价的PC Server上搭建起大规模消息系统。Kafka的特性： 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consu

一、为什么要使用MQ消息中间件?一个用消息队列的人，不知道为啥用，有点尴尬。没有复习这点，很容易被问蒙，然后就开始胡扯了。回答：这个问题,咱只答三个最主要的应用场景，不可否认还有其他的，但是只答三个主要的，即以下六个字:解耦、异步、削峰1、解耦传统模式:传统模式的缺点：系统间耦合性太强，如上图所示，系统A在代码中直接调用系统B和系统C的代码，如果将...

转载自：https://mp.weixin.qq.com/s?__biz=MzI4NTA1MDEwNg==&mid=2650778230&idx=1&sn=db305061375bf4fe39f75c4fb9c4fee6&chksm=f3f91fe3c48e96f536a3e7ad100b09730780be6258eaf0d7ff6c407cdd64b874943...

因为logback冲突问题，去掉了org.apache.activemq:activemq-all这个依赖，转而使用org.apache.activemq:activemq-client等相关依赖，出现“java.lang.ClassNotFoundException: org.apache.activemq.pool.PooledConnectionFactory”这个错误是因为缺少了org.a...

Kafka与其他MQ对比