消息队列
文章平均质量分 70
消息队列学习&总结
C0oOder
The more you learn, the more ignorant you become
展开
-
Kafka(七).Springboot集成,Kafka监控Eagle
Kafka(七).Kafka监控 Kafka -Eagle 和SpringBoot集成 一.Kafka监控安装 1.下载软件压缩包 http://download.kafka-eagle.org/ 2.解压后文件有 [root@CentOSA kafka-eagle]# ll 总用量 0 drwxr-xr-x. 2 root root 33 1月 2 22:26 bin drwxr-xr-x. 2 root root 62 1月 2 22:26 conf drwxr-xr-x. 2 root r原创 2022-01-03 23:26:39 · 1221 阅读 · 0 评论 -
Kafka(六).高级架构
Kafka 高级架构 一 .简介 kafka 的 topic 被分为多个分区,分区的数据是按照Segments 也就是分段来存储文件块。分区日志是存储在磁盘上的日志序列。kafka 可以保证的是一个分区里面的事件是有序的。其中 leader 负责对应分区的读写。Follower负责同步分区的数据。0.11 版本之前 kafka 使用的是highwatermarker机制来保证数据放入同步,但是基于highwatermarker 的同步数据可能会导致数据的不一致和数据乱序 LEO: log end offse原创 2022-01-02 19:55:09 · 926 阅读 · 0 评论 -
Kafka(五).Kafka&JAVA 高级API
Kafka(五).Kafka&JAVA 高级API 1.Offset自动控制 消费者在没有订阅topic 的offset 的时候,也就是kafka 没有记录消费者的信息的时候,消费者默认首次消费的消费策略; auto.offset.reset = latest latest 订阅开始最新的offset 默认 earliest 单前分区最早的 none 没找到消费者的先前偏移量 就向消费者报错 //服务器没有消费者信息时 指定 会拉取获得的分区最早的记录的数据 properties.put原创 2021-11-20 22:51:07 · 1173 阅读 · 0 评论 -
Kafka(四).Kafka&JAVA 基础API
Kafka(四).Kafka&JAVA 基础API 1.环境 使用java 来测试Kafka API 运行环境基于Kafka(三)的搭建的集群环境; 测试电脑(windows) 需要配置host 192.168.141.131 CentOSA 192.168.141.132 CentOSB 192.168.141.133 CentOSC maven配置 <dependency> <groupId>org.apache.kafka</gro原创 2021-09-28 23:29:05 · 1021 阅读 · 0 评论 -
Kafka(三) 集群环境搭建
Kafka 集群环境搭建 最好参考之前的单机版本一起学习 准备三台虚拟机 1. 环境准备 先把单机版本的虚拟机克隆出三台 环境基本都是有的,下面就是修改软件里面的配置; 修改IP 第一台 [root@localhost package]# java -version java version "1.8.0_51" Java(TM) SE Runtime Environment (build 1.8.0_51-b16) Java HotSpot(TM) 64-Bit Server VM (build 25.原创 2021-09-23 23:18:16 · 140 阅读 · 0 评论 -
Kafka(二)单机环境搭建&Topic 管理
Kafka 环境搭建&Topic 管理 一. 环境准备 1.安装JDK1.8+ 配置好JAVA_HOME 2.配置主机名和IP映射 3.安装防火墙&防火墙开机自启动 4.安装zookeeper 5.安装 启动 关闭 Kafka 详细步骤 1.安装JDK 略 2.修改域名 修改host配置 ###修改域名 [root@localhost ~]# cat /etc/sysconfig/network HOSTNAME=CentOS ###修改映射 添加一行 [root@localhost原创 2021-09-17 23:51:33 · 396 阅读 · 0 评论 -
Kafka(一) .简介
Kafka (一) .简介 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据; 一般 用于:系统解耦,异步通信,削峰填谷 1.工作模式 最多一次:消息的生产者把消息写入到队列,消费者去队列里面消费,确认消费完成后,消息队列删除主动删除队列数据,这类一般只允许被一个消费者消费,并且队列里面的消息不允许被重新消费; 没有限制:消息的生产者把消息写入到队列,消息可以被多个消费者同时原创 2021-09-15 23:21:36 · 119 阅读 · 0 评论 -
RabbitMq模式
RabbitMq模式 本文资料 来自于官网 https://www.rabbitmq.com/tutorials/tutorial-two(one/two/three)-java(注: 可以修改语言).html 1. 工作队列模式 work [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MqIJnjzO-1583772571626)(C:\Users\SFF\Ap...原创 2020-03-10 00:55:43 · 334 阅读 · 0 评论