Kafka简介
-
kafka 简介
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 常用于日志分析和数据的离线处理。也可以完成MQ基本的发布订阅功能。
kafka 安装
- kafka 常用windows 和 Linux 系统的安装包没有分离可以使用统一的下载包。包名以tgz结尾。此处下载:http://kafka.apache.org/downloads。
- 此处安装版本 kafka_2.12-2.0.0.tgz。
- windows 直接解压,Linux 执行命令
tar -zxvf kafka_2.12-2.0.0.tgz
kafka修改配置
- 打开配置文件
vi ./kafka_2.12-1.0.1/config/server.properties
- 配置选项说明
假如没有特别要求默认选项即可
特别要求:
- 日志不想放入C盘,Linux可以不修改> log.dirs=D:/tmp/kafka-logs
- zookeeper 不是当前服务器 > zookeeper.connect=IP:2181
- 只想被某些IP消费 > 内网 > listeners=PLAINTEXT://localhost:9092
- 只想被某些IP消费 > 外网,内网也需要配置 listeners=PLAINTEXT://xx.xx.xx.xx:9092
- 多点集群,Broker不同 > broker.id=0
…
Kafka 启动
由于kafka是免安装软件,解压时候直接移动到想要放软件的目录下即可。
此处移动到 D:/soft/ 下。
- 启动
- 切换到安装目录下,到开DOS 命令窗口,切换到D:\soft\kafka_2.12-2.0.0下,bin目录都是执行脚本文件,其中bin下是shell脚本文件,bin/widows下是bat执行文件。切换到bin/windows下,执行 kafka-server-start.bat …/…/config/server.properties
- 执行之后不能关闭窗口,否则会关闭kafka-server,如果想要Linux后台启动可以执行 kafka-server-start.bat -daemon …/config/server.properties,
-daemon 是启动守护线程,即为后台启动
- 启动问题
- zookeeper保证启动,否则会出错
- 报错:找不到或无法加载主类 这个是没有找到JDK启动。可以找到CLASSPATH配置选项,前面增加 ,; ,其次找到启动脚本 bin目录下
windwos/kafka-run-class.bat 下 %CLASSPATH% 增加双引号,即为
set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %*
修改为:
set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp “%CLASSPATH%” %KAFKA_OPTS% %*