kafka知识学习记录1

一、安装

kafka下载地址：Apache Kafka

zookeeper下载地址：

https://dlcdn.apache.org/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz

首先，如果环境已经有jdk包，就不用这些步骤了，下载jdk包，解压后放在自己想放的路径

1、配置环境变量

vim /etc/profile

在最后添加下面几行 

export JAVA_HOME=/usr/local/java/jdk1.8.0_51

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export  PATH=${JAVA_HOME}/bin:$PATH

使修改的配置生效

source /etc/profile

再检查安装是否成功

java -version

显示为自己安装的jdk版本就行，如下

java version "1.8.0_51"

Java(TM) SE Runtime Environment (build 1.8.0_51-b16)

Java HotSpot(TM) 64-Bit Server VM (build 25.51-b03, mixed mode)

2、安装zookeeper

进入zookeeper的conf目录下

cp zoo_sample.cfg zoo.cfg 

修改zoo.cfg

dataDir=/tmp/zookeeper

修改

vim /etc/profile

export Zookeeper_HOME=/usr/installed/apache-zookeeper-3.5.8-bin
PATH=$PATH:$Zookeeper_HOME/bin

 使修改的配置生效

source /etc/profile

启动zookeeper

在zookeeper的bin目录 

./zkServer.sh start

然后zkServer.sh status

注意：如果执行jps命令发现没有QuorumPeerMain进程，则需要到logs目录下去查看zookeeper-*.out这个日志文件

3、安装kafka

修改/usr/installed/kafka_2.12-3.0.1/config

zookeeper.connect=localhost:2181

跟上面zookeeper一样修改配置

测试kafka是否安装成功

启动kafka

kafka-server-start.sh ../config/server.properties

#生产
/usr/installed/kafka_2.12-3.0.1/bin/kafka-console-producer.sh --broker-list 192.168.83.24:9092 --topic ceshi
#消费
 /usr/installed/kafka_2.12-3.0.1/bin/kafka-console-consumer.sh --bootstrap-server 192.168.83.24:9092 --topic ceshi --from-beginning
#查看topic
/usr/installed/kafka_2.12-3.0.1/bin/kafka-topics.sh  --list  --bootstrap-server 192.168.83.24:9092
#创建topic
 /usr/installed/kafka_2.12-3.0.1/bin/kafka-topics.sh  --create  --topic ceshi --bootstrap-server 192.168.83.24:9092


#创建 Topic 时进行设置
#需要保存最近半年的交易数据，最大传输数据为 5MB。
/usr/installed/kafka_2.12-3.0.1/bin/kafka-topics.sh --bootstrap-server 192.168.83.24:9092 --create --topic transaction --partitions 1 --replication-factor 1 --config retention.ms=15552000000 --config max.message.bytes=5242880
#修改 Topic 时进行设置
#使用kafka-configs来修改 Topic 级别参数, 设置最大发送数据为 10MB:
bin/kafka-configs.sh --zookeeper 192.168.83.24:2181 --entity-type topics --entity-name transaction --alter --add-config max.message.bytes=10485760