消息队列
文章平均质量分 79
对各种消息队列的一个简单的学习
huan_1993
这个作者很懒,什么都没留下…
展开
-
SpringBoot整合kafka
SpringBoot整合Kafka一、背景二、实现步骤1、引入jar包2、编写生产者和消费者的配置3、生产者配置4、消费者配置5、消费者手动提交 ack3、编写生产者代码4、编写消费者代码三、运行结果四、参考文档五、代码路径一、背景此处简单记录一下 SpringBoot 和 Kafka 的整合。二、实现步骤1、引入jar包<dependency> <groupId>org.springframework.kafka</groupId> <ar原创 2021-01-31 19:38:59 · 288 阅读 · 0 评论 -
kafka生产者和消费者api的简单使用
kafka生产者和消费者api的简单使用一、背景二、需要实现的功能1、生产者实现功能1、KafkaProducer线程安全的,可以在多线程中使用。2、消息发送的key和value的序列化3、自定义分区的使用4、自定义拦截器的使用5、消息发送完成后的回调使用2、消费者实现功能三级目录1、消息接收的key和value的序列化2、指定消费者组3、自动提交 offset (生产环境可以使用手动提交offset)4、重置消费者的偏移量,此配置生效的条件5、自定义消息消费拦截器6、每次从服务器获取多少数据3、详细实现三原创 2021-01-09 18:42:43 · 862 阅读 · 0 评论 -
kafka错误之 Topic xxx not present in metadata after 60000 ms
Topic xxx not present in metadata after 60000 ms一、背景二、场景还原1、jar包引入2、jar代码3、运行结果三、问题解决四、参考文档一、背景今天尝试使用 kafka 的 生产者 api 写一下,消息发送,结果遇到以下问题,Topic xxx not present in metadata after 60000 ms,找了半天结果发现是jar包引入不全导致的,为防以后忘记,在此记录一下。二、场景还原1、jar包引入<dependency&g原创 2021-01-04 16:54:11 · 74057 阅读 · 1 评论 -
kafka的基本概念
kafka的基本概念一、基本概念1、broker2、producer3、consumer4、cousumer group5、topic6、partition7、replicas二、生产者分区策略1、默认分区策略2、自定义分区策略三、生产者 acks 应答机制1、acks = 02、acks = 13、acks = [all | -1]四、日志文件的 HW 和 LEO参考文档一、基本概念1、brokerbroker 指的一个kafka服务器,一个kafka集群是由多个 kafka broker 组成。原创 2021-01-03 14:20:52 · 257 阅读 · 0 评论 -
kafka-eagle监控界面搭建
kafka-eagle监控界面搭建一、背景二 、mac上安装kafka-eagle1、安装JDK2、安装eagle1、下载eagle2、解压并配置环境变量3、启用kafka的JMX4、配置eagle5、启动 eagle三、ke.sh的用法四、参考文档一、背景在上一节中,我们搭建了一个kafka集群,但是kafka集群在运行的过程中会产生各种数据,比如broker信息、集群信息、主题信息、消费者信息等等,而kafka自身没有提供一个图形化的监控界面,此处我们使用kafka-eagle来搭建一个kafka的原创 2020-12-30 14:48:41 · 856 阅读 · 0 评论 -
kafka集群搭建
kafka集群环境搭建一、背景二、安装软件三、安装步骤1、搭建一个 3 个节点的 zk 伪集群1、下载 zookeeper 安装包2、解压三份,并放置在 zookeeper 目录中3、修改 zookeeper 配置文件,此处以 zk01 为例子5、启动3个zk节点6、连接 `zk` 集群2、搭建一个3个节点的 kafka 集群1、下载 kafka2、解压3份,并放置到 kafka 目录中3、修改 server.properties 文件,此处以 kafka01 为例子4、启动3个kafka节点5、kafka原创 2020-12-13 16:30:26 · 406 阅读 · 0 评论 -
activemq实现队列的独有消费
原创 2017-07-09 16:07:34 · 423 阅读 · 0 评论