dcm19920115的博客

将安全功能合并到运行的群集中你可以为正在运行的集群增加1个或多个我们前面讨论的安全协议，这是分阶段完成的：以增量替换的方式添加额外的安全端口(s)。 客户端使用安全的端口来连接，而不是PLAINTEXT端口的（假设你是客户端需要安全连接broker）。 再次增量的方式依次启用broker与broker之间的安全端口（如果需要） 最后依次关闭PLAINTEXT端口。7.2和7.3节介...

Adding servers to a Kafka cluster is easy, just assign them a unique broker id and start up Kafka on your new servers. However these new servers will not automatically be assigned any data partitions,...

Sometimes it's useful to see the position of your consumers. We have a tool that will show the position of all consumers in a consumer group as well as how far behind the end of the log they are. To r...

镜像集群之间的数据We refer to the process of replicating databetweenKafka clusters "mirroring" to avoid confusion with the replication that happens amongst the nodes in a single cluster. Kafka comes with a ...

Whenever a broker stops or crashes leadership for that broker's partitions transfers to other replicas. This means that by default when the broker is restarted it will only be a follower for all its p...

The Kafka cluster will automatically detect any broker shutdown or failure and elect new leaders for the partitions on that machine. This will occur whether a server fails or it is brought down intent...

You can change the configuration or partitioning of a topic using the same topic tool.你可以使用同样的topic工具更改topic的配置和分区。To add partitions you can do你可以添加分区 > bin/kafka-topics.sh --zookeeper z...

从老版本升级kafka从0.8.x, 0.9.x 或 0.10.0.X 升级到 0.10.1.00.10.1.0有线协议更改，通过遵循以下建议的滚动升级，在升级期间不会停机。但是，需要注意升0.10.1.0中潜在的突发状况。注意：由于引入了新的协议，要在升级客户端之前先升级kafka集群（即，0.10.1.x仅支持 0.10.1.x或更高版本的broker，但是0.10.1.x的bro...

You have the option of either adding topics manually or having them be created automatically when data is first published to a non-existent topic. If topics are auto-created then you may want to tune ...

消费者offset跟踪 （Consumer Offset Tracking）The high-level consumer tracks the maximum offset it has consumed in each partition and periodically commits its offset vector so that it can resume from those ...

日志A log for a topic named "my_topic" with two partitions consists of two directories (namely my_topic_0 and my_topic_1) populated with data files containing the messages for that topic. The forma...

退役brokersThe partition reassignment tool does not have the ability to automatically generate a reassignment plan for decommissioning brokers yet. As such, the admin has to come up with a reassign...

增加副本Increasing the replication factor of an existing partition is easy. Just specify the extra replicas in the custom reassignment json file and use it with the --execute option to increase the r...

认证和aclkafka附带一个可插拔的ACL（Access Control List 访问控制列表），它使用zookeeper来存储。通过在server.properties中设置authorizer.class.name来启用：authorizer.class.name=kafka.security.auth.SimpleAclAuthorizerKafka acls的格式为"...

使用SASL认证1. JAAS配置Kafka使用Java认证和授权服务（JAAS）进行SASL配置。 为broker配置JAAS KafkaServer是每个KafkaServer/Broker使用JAAS文件中的部分名称。本节为broker提供了SASL配置选项，包括进行broker之间通信所需的任何SASL客户端连接。 客户端部分用于验证与zookeeper的SASL连接...

使用SSL加密和认证Apache kafka 允许clinet通过SSL连接，SSL默认是不可用的，需手动开启。1. 为每个Kafka broker生成SSL密钥和证书。部署HTTPS，第一步是为集群的每台机器生成密钥和证书，可以使用java的keytool来生产。我们将生成密钥到一个临时的密钥库，之后我们可以导出并用CA签名它。keytool -keystore server....

Java版本From a security perspective, we recommend you use the latest released version of JDK 1.8 as older freely available versions have disclosed security vulnerabilities. LinkedIn is currently ru...

生产者服务器配置Here is our server production server configuration:这是我们的服务器生产服务器配置:# Replication configurationsnum.replica.fetchers=4replica.fetch.max.bytes=1048576replica.fetch.wait.max.ms=500re...

作为一个分布式的消息发布-订阅系统，Apache Kafka在 Yahoo内部已经被很多团队所使用，例如媒体分析团队就将其应用到了实时分析流水线中，同时，Yahoo整个Kafka集群处理的峰值带宽超过了 20Gbps（压缩数据）。为了让开发者和服务工程师能够更加简单地维护Kafka集群，Yahoo构建了一个基于Web的管理工具，称为Kafka Manager，日前该项目已经在GitHub上开源。...

MonitoringKafka uses Yammer Metrics for metrics reporting in both the server and the client. This can be configured to report stats using pluggable stats reporters to hook up to your monitoring syst...

数据中心总结：意思是kafka集群最好部署在相同局域网的环境里，不要部署在不同的网络环境里。Some deployments will need to manage a data pipeline that spans multiple datacenters. Our recommended approach to this is to deploy a local Kafka clus...

Kafka提供一个broker之间复制传输的流量限制，限制了副本从机器到另一台机器的带宽上限。当重新平衡集群，引导新broker，添加或移除broker时候，这是很有用的。因为它限制了这些密集型的数据操作从而保障了对用户的影响。有2个接口可以实现限制。最简单和最安全的是调用kafka-reassign-partitions.sh时加限制。另外kafka-configs.sh也可以直接查看和修改...

kafka0.8.1.1以及之前版本都无法使用类似一条命令就彻底删除topic，以前看过网上一些删除命令不过只是在zookeeper注销信息而已，但是实际的日志内容还是保存在kafka log中，因为个人需要所以慢慢琢磨了方法彻底清除topic（ps:kafka0.8.2好像直接支持直接删除，不过现在还是beta版 ）。机器环境如下：Kafka目录：/usr/local/kafka_2....

kafka消息格式消息（又名记录）始终是按批次写入。一批消息用技术术语表达就是记录批次，记录批次包含一个或多个记录。 在低性能的情况下，一个批次只有单条消息。记录批次和记录都有自己的头文件。下面介绍了Kafka版本0.11.0及更高版本（消息格式版本v2或magic = 2）的格式。点击此处查看有关邮件格式0和1的详细信息。5.3.1 消息批次以下是RecordBatch的磁盘格式。...

网络层The network layer is a fairly straight-forward NIO server, and will not be described in great detail. The sendfile implementation is done by giving the MessageSet interface a writeTo method. T...

Kafka Streams配置Kafka Stream客户端库配置（注意，窗口可拖动）。NAME DESCRIPTION TYPE DEFAULT VALID VALUES IMPORTANCE application.id 流处理应用程序标识。必须在Kafka集群中是独一无二的。 1）默认客户端ID前缀，2）成员资格管理的group-id，3）ch...

kafka消费者配置在0.9.0.0中，我们引入了新的Java消费者来替代早期基于Scala的简单和高级消费者。新老客户端的配置如下。新消费者配置新消费者配置：（注意，右面是可拖动的）NAME DESCRIPTION TYPE DEFAULT VALID VALUES IMPORTANCE bootstrap.servers host/po...

生产者配置java生产者配置：NAME DESCRIPTION TYPE DEFAULT VALID VALUES IMPORTANCE bootstrap.servers host/port列表，用于初始化建立和Kafka集群的连接。列表格式为host1:port1,host2:port2,....，无需添加所有的集群地址，kafka会根据提供的地...

Topic配置与topic相关的配置，服务器的默认值，也可可选择的覆盖指定的topic。如果没有给出指定topic的配置，则将使用服务器默认值。 可以通过-config选项在topic创建时设置。此示例使用自定义最大消息的大小和刷新率，创建一个名为my-topic的topic：> bin/kafka-topics.sh --zookeeper localhost:2181 --cr...

Broker配置基本配置如下:broker.id log.dirs zookeeper.connect下文将详细论述了主题级别配置和默认值。名称 描述 类型 默认 有效值 重要程度 zookeeper.connect zookeeper host string string 高 advertised.ho...

Apache Kafka引入一个新的java客户端（在org.apache.kafka.clients 包中），替代老的Scala客户端，但是为了兼容，将会共存一段时间。为了减少依赖，这些客户端都有一个独立的jar，而旧的Scala客户端继续与服务端保留在同个包下。Kafka有4个核心API：Producer API允许应用程序发送数据流到kafka集群中的topic。 Consumer...

kafka的背景知识已经讲了很多了，让我们现在开始实践吧，假设你现在没有Kafka和ZooKeeper环境。Step 1: 下载代码下载1.1.0版本并且解压它。> tar -xzf kafka_2.11-1.1.0.tgz> cd kafka_2.11-1.1.0Step 2: 启动服务运行kafka需要使用Zookeeper，所以你需要先启动Zookeep...

Kafka作为一个分布式的流平台，这到底意味着什么？我们认为，一个流处理平台具有三个关键能力：发布和订阅消息（流），在这方面，它类似于一个消息队列或企业消息系统。 以容错的方式存储消息（流）。 在消息流发生时处理它们。什么是kakfa的优势？它主要应用于2大类应用：构建实时的流数据管道，可靠地获取系统和应用程序之间的数据。 构建实时流的应用程序，对数据流进行转换或反应。要了解...

下面是一些关于Apache kafka流行的使用场景。这些领域的概述，可查看博客文章（https://engineering.linkedin.com/distributed-systems/log-what-every-software-engineer-should-know-about-real-time-datas-unifying）。消息kafka更好的替换传统的消息系统，消息系...

整理kafka相关的常用命令管理## 创建主题（4个分区，2个副本）bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test查询## 查询集群描述bin/kafka-topics.sh --describe --z...

Kafka Connect ConfigsKafka Connect框架的相关配置（注意，窗口可向右拉动）。NAME DESCRIPTION TYPE DEFAULT VALID VALUES IMPORTANCE config.storage.topic kafka topic仓库配置 string high g...

AdminClient Configs以下是Kafka Admin客户端库的配置。NAME DESCRIPTION TYPE DEFAULT VALID VALUES IMPORTANCE bootstrap.servers host/port,用于和kafka集群建立初始化连接。因为这些服务器地址仅用于初始化连接，并通过现有配置的来发现全部的kaf...

API设计生产者APIThe Producer API that wraps the 2 low-level producers - kafka.producer.SyncProducer and kafka.producer.async.AsyncProducer.生产者API，它封装了2个低级别的生产者-kafka.producer.SyncProducer 和kafka....

配额从0.9开始，Kafka集群能够对生产和消费设置配额。为每个客户端分组设置配额阈值（基于字节比率）。Kafka集群有能力对请求进行配额来控制客户端使用的broker资源。可以为共享配额的每个客户组执行两种类型的客户配额：通过配额定义网络带宽的字节率阈值（从0.9版本开始） 请求率配额将CPU的利用率阈值定义为网络和I/O线程的百分比（自0.11版本起）为什么需要配额？生产者...

日志压缩Log compaction ensures that Kafka will always retain at least the last known value for each message key within the log of data for a single topic partition. It addresses use cases and scenari...