![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 94
大数据老哥
这个作者很懒,什么都没留下…
展开
-
Kafka与Pulsar的区别在哪?为什么会成为下一代的消息中间件之王?
前言 在本系列的Pulsar和Kafka比较文章中,我将引导您完成我认为重要的几个领域,并且对于人们选择强大,高可用性,高性能的流式消息传递平台至关重要。消息传递模型(Messaging model)是用户在选择流式消息传递系统时应首先考虑的事情。消息传递模型应涵盖以下3个方面:Message consumption(消息消费):如何发送和消费消息Message Acknowledgement(消息确认)转载 2021-09-09 15:47:58 · 1685 阅读 · 0 评论 -
都说Kafka牛看完这篇就够了
前言 系统间的耦合高怎么办,我们如何不让一个服务过于庞大,一个好的方式就是依据具体的功能模块拆分服务,降低服务的耦合度,服务间的交互可以通过消息传递数据来实现,除此之外Kafka非常适合在线日志收集等高吞吐场景,kafka有更好的吞吐量,内置分区,副本和故障转移,这有利于处理大规模的消息,所以kafka被各大公司广泛运用于消息队列的构建:消息队列模型-生产者消费者模型Kafka基本概念和架构模型Kafk转载 2021-02-27 15:21:24 · 1653 阅读 · 0 评论 -
你都知道那些Kafka副本机制?
前言 在日常开发过程中使用kafka来实限流削峰作用但是往往kafka会存放多份副本来防止数据丢失,那你知道他的机制是什么样的吗?一、Kafka集群 Kafka 使用 Zookeeper 来维护集群成员 (brokers) 的信息。每个 broker 都有一个唯一标识 broker.id,用于标识自己在集群中的原创 2021-01-28 17:41:04 · 1755 阅读 · 0 评论 -
Flink 自定义Avro序列化(Source/Sink)到kafka中
前言 最近一直在研究如果提高kafka中读取效率,之前一直使用字符串的方式将数据写入到kafka中。当数据将特别大的时候发现效率不是很好,偶然之间接触到了Avro序列化,发现kafka也是支持Avro的方式于是就有了本篇文章。一、Avro提供的技术支持包括以下五个方面:优秀的数据结构;一个紧凑的,快速的,二进制数据格式;一个容器文件,用来存储持久化数据;RPC远程过程调用;集成最简单的动态语言原创 2021-01-08 22:17:51 · 4276 阅读 · 36 评论 -
快速入门kafka④ 常用命令及API使用
常用命令:创建topicbin/kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --replication-factor 2 --partitions 3 --topic 18BD12-1查看topicbin/kafka-topics.sh--list --zookeeper node01:2...原创 2020-03-20 13:13:29 · 9538 阅读 · 29 评论 -
快速入门kafka③ kafka优点及技术架构
Kafka优点 可靠性强:分布式的,分区,复制和容错 可扩展性:无需停机进行扩展。 耐用性:消息会尽可能快速的保存在磁盘上,持久化。 性能高:对于发布和定于消息都具有高吞吐量,保证零停机和零数据丢失Kafka应用场景 指标分析:用于操作监控数据,分析各种指标。 日志收集:收集各个业务的数据发送到kafka TOPIC里 流式处理:数据实时...原创 2020-03-20 11:04:33 · 9565 阅读 · 29 评论 -
快速入门kafka② kafka集群搭建(初级体验)
一、搭建环境前提安装jdk,安装zookeeper并保证zk服务正常启动二、下载并解压wget http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgztar –zxvf kafka_2.11-1.0.0.tgz -C /export/servers/三、node01服务修改配置文件node...原创 2020-03-17 21:34:02 · 9507 阅读 · 28 评论 -
快速入门kafka① Kafka介绍
一、消息队列消息(Message):是指在应用之间传送的数据,消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。 消息队列(Message Queue):是一种应用间的通信方式,消息发送后可以立即返回,有消息系统来确保信息的可靠专递,消息发布者只管把消息发布到MQ中而不管谁来取,消息使用者只管从MQ中取消息而不管谁发布的,这样发布者和使用者都不用知道对方的存...原创 2020-03-17 21:32:10 · 9201 阅读 · 27 评论