消息中间件
文章平均质量分 80
技术闲聊DD
代码改变生活,程序改变世界!
展开
-
kafka学习(6)-- Kafka 监控
1 Kafka Eagle1. 修改 kafka 启动命令修改 kafka-server-start.sh 命令中if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"fi为if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+U原创 2022-01-21 15:41:08 · 497 阅读 · 1 评论 -
kafka学习(5)-- Kafka API的使用
1 Producer API1.1 消息发送流程Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main 线程和 Sender 线程,以及一个线程共享变量——RecordAccumulator。main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka broker。KafkaProducer 发送消息流程如下:相关参数:batch.size:原创 2022-01-21 15:40:54 · 187 阅读 · 0 评论 -
kafka学习(4)-- Kafka如何保证百万级写入速度以及保证不丢失不重复消费
一、如何保证百万级写入速度Kafka是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。那么Kafka到底是如何做到这么高的吞吐量和性能的呢?1、页缓存技术 + 磁盘顺序写(解决写入性能问题)首先Kafka每次接收到数据都会往磁盘上去写,如下图所示。那么在这里我们不禁有一个疑问了,如果把数据基于磁盘来存储,频繁的往磁盘文件里写数据,这个性能会不会很差?大家肯定都觉得磁盘写性能是极差的。没错,要是真的跟上面原创 2022-01-21 11:39:06 · 776 阅读 · 0 评论 -
kafka学习(3)-- Kafka 架构深入
1 Kafka 工作流程及文件存储机制Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的。topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端,且每条数据都有自己的 offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个 offset(标记位),以便出错原创 2022-01-17 17:36:38 · 141 阅读 · 0 评论 -
kafka学习(2)-- Kafka的安装和操作
1 安装部署1.1 安装包下载下载链接1.2 安装集群部署1)解压安装包 tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/2)修改解压后的文件名称mv kafka_2.11-0.11.0.0/ kafka3)在/opt/module/kafka 目录下创建 logs 文件夹mkdir logs4)修改配置文件cd config/vi server.properties输入以下内容:#broker 的全局唯一编号,不能重复原创 2022-01-17 16:23:31 · 154 阅读 · 0 评论 -
kafka学习(1)-- 消息队列和kafka介绍
消息队列的使用1.1 同步通信方式和异步通信方式的对比原创 2022-01-10 09:51:00 · 819 阅读 · 0 评论