watermelonbig的专栏

Apache Kafka中包括了一套新的java客户端(in the org.apache.kafka.clients package)。这也意味着是要替换旧的Scala实现的客户端工具，不过出于兼容性考虑，这些旧的工具实现仍然会继续存在一段时间。1．Producer API推荐大家使用新的Java Producer，这个客户端工具是经过了生产环境标准的测试并且比旧的Scala客户端速度更

Kafka使用property格式的配置文件来维护键值对形式的配置信息。这些配置信息可以是通过文件的形式定义的，也可以是通过编程的方式定义。1．Kafka服务器配置Broker Configs一台Kafka服务器就是一个broker，所以这里讲的是Kafka服务器的配置。配置参数有很多，其中的关键配置项是以下三个。n broker.idn log.dirsn zookeep

1．设计意图 Motivation我们设计Kafka能够作为一种处理各种实时数据流的统一平台，我们为此设想了广泛的使用场景。n 它必须能够支持高吞吐特性，以支持那些高容量的事件流，例如一个实时的日志收集场景；n 它必须能够轻松得处理大量积压的数据，以支持那些定时从离线系统中加载大量数据的场景；n 这同时也意味着它必须能够低延时地进行消息分发，以支持那些传统方式上的消息服务使用场景；

1、Apache Kafka 介绍Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。从下是几个常用术语。Topics(主题)，消息流的存在形式。Producers(生产者)Consumers(消费者)Broker(代理)，Kafka集群中可以包括一个或多个servers，每个server被称为broker。下图是Kafka几个角

本文中包含了一套kafka集群的部署、配置、调试和压测的技术方法。在三个主机节点上进行部署。server1：192.168.10.1server2：192.168.10.2server3：192.168.10.31、jdk7u80的安装与配置rpm -ivh jdk-7u80-linux-x64.rpm配置环境变量：more /etc/p

在用kafka集群有3个节点，即host1, host2, host3，现需要将broker节点扩容至6个，以提供更高的数据处理能力。一、上架一台物理服务器用于提供更多的资源新扩容3个broker节点，host4,host5,host6二、在三台新增节点上部署kafka应用程序这些不是本文的重点，略过。三、重新分布原有的topic分区1、查看集群中当

今天在一次程序版本升级过程中，监测到kafka服务集群的6个broker节点中有4个都抛出了一些ERROR级别的错误日志信息。因为在日常的维护中kafkaServer.out文件中大多都是些INFO或少量WARN级别的日志，所以这些ERROR日志引起比较高的重视。因为是首次见这种错误，一时心虚，差点安排进行了程序版本的回退！