![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
Shannon076
这个作者很懒,什么都没留下…
展开
-
kafka-proxy的设计
kafka-proxy是什么? kafka-proxy是位于kafka集群和应用系统之间的一层代理服务,负责将应用系统的消息转发给kafka集群为什么要用这个东西? 1.kafka的生产者来自于不同的元数据系统,在生产者与kafka集群之间添加一层代理可以屏蔽各生产者之间的差异,甚至有的语言没有对应的kafka客户端; 2.生产者与Kafka集群之间是通过建立tcp长连...原创 2018-07-28 17:44:03 · 4670 阅读 · 0 评论 -
Kafka中的一些基本概念
Kafka类似于传统的消息系统,但是又不同于消息系统,因为它不仅具有传统消息系统的消息传递的功能,而且它还具备流失处理能力。消息Kafka中的数据单元被称为消息。相当于数据库中的“行”。消息由字节数组组成消息有一个可选的元数据,称为“键”消息是存在一个称为“主题”的地方的,主题就相当与数据库中的表,一个主题分成了很多个“分区”,具体的,消息就是被存到了某一主题的一个分区上为...原创 2018-07-26 16:52:15 · 457 阅读 · 0 评论 -
Kafka在maven中的配置
http://mvnrepository.com/artifact/org.apache.kafka/kafka_2.12/1.1.1<!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka --><dependency> <groupId>or原创 2018-07-26 19:39:59 · 14233 阅读 · 0 评论 -
kafka的分区在broker上的分配方式
问题背景 假设现在的kafka集群中有4个broker,现在需要创建一个包含5个partition的topic,复制因子是2,那么这些分区以及副本在这4个broker上如何分配的呢?问题分析 首先,我们要明确进行分区分配的目标是什么? 1. 保证所有的分区以及副本可以均衡在分布上所有的broker上 2. 保证同一个分区及其副本尽量不要分布在同一个brok...原创 2018-07-31 12:18:40 · 5657 阅读 · 0 评论 -
Kafka生产者示例以及常用参数的解释
本文主要讲解如何使用Kafka的API开发Kafka的生产者程序。简单的说明如下: Kafka版本:1.1.1 一些常见的类或接口说明: java.util.Properties:该类是一个Hashtable的子类,用来维护Kafka生产者的配置信息 org.apache.kafka.clients.producer.ProducerConfig:Kafk...原创 2018-07-28 12:16:22 · 4572 阅读 · 0 评论 -
Kafka常见问题归纳
使用自定义序列化器的时候,出现KafkaProcucer初始化失败的问题Exception in thread “main” org.apache.kafka.common.KafkaException: Failed to construct kafka producer原创 2018-07-28 14:13:05 · 2388 阅读 · 0 评论