apache kafka
文章平均质量分 79
kafka学习
coder i++
coder i++分享一下 ,记录一下
展开
-
消息队列及常见消息队列介绍
转载 消息队列及常见消息队列介绍 一、消息队列(MQ)概述消息队列(Message Queue),是分布式系统中重要的组件,其通用的使用场景可以简单地描述为:当不需要立即获得结果,但是并发量又需要进行控制的时候,差不多就是需要使用消息队列的时候。消息队列主要解决了应用耦合、异步处理、流量削锋等问题。当前使用较多的消息队列有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等,而部分数据库如Redis、Mysql以及phxsql也可实现消息队列转载 2021-07-22 14:03:41 · 9678 阅读 · 0 评论 -
Apache Kafka 消费者组示例
消费群是多线程或多机器的Apache Kafka主题。转载 2022-11-02 11:58:07 · 224 阅读 · 0 评论 -
Apache Kafka 简单生产者消费者示例
转载 https://www.w3cschool.cn/apache_kafka/apache_kafka_simple_producer_example.html让我们使用Java客户端创建一个用于发布和使用消息的应用程序。 Kafka生产者客户端包括以下API。KafkaProducer API让我们了解本节中最重要的一组Kafka生产者API。 KafkaProducer API的中心部分是 KafkaProducer 类。 KafkaProducer类提供了一个选项,用于将其构造函数中的Kafka转载 2021-09-04 06:17:40 · 324 阅读 · 0 评论 -
Apache Kafka 特性
Consumer Group (CG):这是kafka用来实现一个topic消息的广播(发给所有的consumer)和单播(发给任意一个consumer)的手段。topic的消息会复制(不是真的复制,是概念上的)到所有的CG,但每个CG只会把消息发给该CG中的一个consumer。Partition:为了实现扩展性,一个非常大的topic可以分布到多个broker(即服务器)上,一个topic可以分为多个partition,每个partition是一个有序的队列。即使这样一致性也是很难保证的。转载 2021-08-31 17:40:10 · 130 阅读 · 0 评论 -
Apache Kafka 基本操作
转载 https://www.w3cschool.cn/apache_kafka/apache_kafka_basic_operations.htmlApache Kafka 基本操作首先让我们开始实现单节点单代理配置,然后我们将我们的设置迁移到单节点多代理配置。希望你现在可以在你的机器上安装 Java,ZooKeeper 和 Kafka 。 在迁移到 Kafka Cluster Setup 之前,首先需要启动 ZooKeeper,因为 Kafka Cluster 使用 ZooKeeper。原创 2021-08-31 05:09:43 · 281 阅读 · 0 评论 -
Apache Kafka 安装步骤
kafka安装原创 2021-08-30 16:48:25 · 444 阅读 · 0 评论 -
Apache Kafka 工作流程
转载https://www.w3cschool.cn/apache_kafka/apache_kafka_workflow.html到目前为止,我们讨论了 Kafka 的核心概念。 让我们现在来看一下 Kafka 的工作流程。Kafka 只是分为一个或多个分区的主题的集合。Kafka 分区是消息的线性有序序列,其中每个消息由它们的索引(称为偏移)来标识。Kafka 集群中的所有数据都是不相连的分区联合。 传入消息写在分区的末尾,消息由消费者顺序读取。 通过将消息复制到不同的代转载 2021-08-23 06:12:46 · 276 阅读 · 0 评论 -
Apache Kafka 基础
转自https://www.w3cschool.cn/apache_kafka/apache_kafka_fundamentals.html对于大数据,我们要考虑的问题有很多,首先海量数据如何收集(如 Flume),然后对于收集到的数据如何存储(典型的分布式文件系统 HDFS、分布式数据库 HBase、NoSQL 数据库 Redis),其次存储的数据不是存起来就没事了,要通过计算从中获取有用的信息,这就涉及到计算模型(典型的离线计算 MapReduce、流式实时计算Storm、Spark),或者要从数据中转载 2021-08-22 06:18:35 · 152 阅读 · 0 评论 -
Apache Kafka 集群架构
转自https://www.w3cschool.cn/apache_kafka/apache_kafka_cluster_architecture.html看看下面的插图。 它显示Kafka的集群图。下表描述了上图中显示的每个组件。S.No组件和说明1Broker(代理)Kafka集群通常由多个代理组成以保持负载平衡。 Kafka代理是无状态的,所以他们使用ZooKeeper来维护它们的集群状态。 一个Kafka代理实例可以每秒处理数十万次读取和写入,每个Broker可以处理TB的消息,而没有性能影响。转载 2021-08-22 06:27:07 · 183 阅读 · 0 评论 -
Apache Kafka 概述
Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列,可以处理大量的数据,并使您能够将消息从一个端点传递到另一个端点。一个现实生活的例子是Dish电视,它发布不同的渠道,如运动,电影,音乐等,任何人都可以订阅自己的频道集,并获得他们订阅的频道时可用。与其他消息传递系统相比,Kafka具有更好的吞吐量,内置分区,复制和固有的容错能力,这使得它非常适合大规模消息处理应用程序。消息系统负责将数据从一个应用程序传输到另一个应用程序,因此应用程序可以专注于数据,但不担心如何共享它。转载 2021-08-22 06:08:02 · 437 阅读 · 0 评论