Kafka安装和配置

Kafka简介

• kafka 简介
  Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 常用于日志分析和数据的离线处理。也可以完成MQ基本的发布订阅功能。

• 官网地址：http://kafka.apache.org/

kafka 安装

• kafka 常用windows 和 Linux 系统的安装包没有分离可以使用统一的下载包。包名以tgz结尾。此处下载：http://kafka.apache.org/downloads。
• 此处安装版本 kafka_2.12-2.0.0.tgz。
• windows 直接解压，Linux 执行命令

tar -zxvf kafka_2.12-2.0.0.tgz

kafka修改配置

• 打开配置文件

vi ./kafka_2.12-1.0.1/config/server.properties

• 配置选项说明

假如没有特别要求默认选项即可
特别要求：

• 日志不想放入C盘,Linux可以不修改> log.dirs=D:/tmp/kafka-logs
• zookeeper 不是当前服务器 > zookeeper.connect=IP:2181
• 只想被某些IP消费 > 内网 > listeners=PLAINTEXT://localhost:9092
• 只想被某些IP消费 > 外网，内网也需要配置 listeners=PLAINTEXT://xx.xx.xx.xx:9092
• 多点集群,Broker不同 > broker.id=0
  …

Kafka 启动

由于kafka是免安装软件，解压时候直接移动到想要放软件的目录下即可。
此处移动到 D:/soft/ 下。

• 启动

1. 切换到安装目录下,到开DOS 命令窗口，切换到D:\soft\kafka_2.12-2.0.0下,bin目录都是执行脚本文件，其中bin下是shell脚本文件，bin/widows下是bat执行文件。切换到bin/windows下，执行 kafka-server-start.bat …/…/config/server.properties
2. 执行之后不能关闭窗口，否则会关闭kafka-server,如果想要Linux后台启动可以执行 kafka-server-start.bat -daemon …/config/server.properties,
   -daemon 是启动守护线程，即为后台启动

• 启动问题

3. zookeeper保证启动，否则会出错
4. 报错：找不到或无法加载主类 这个是没有找到JDK启动。可以找到CLASSPATH配置选项,前面增加 ,; ,其次找到启动脚本 bin目录下
   windwos/kafka-run-class.bat 下 %CLASSPATH% 增加双引号，即为

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %*

修改为：

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp “%CLASSPATH%” %KAFKA_OPTS% %*