kafka安装

zookeeper集群

机器三台做集群
其实每台机器操作一致。

下载、解压：

http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.5/zookeeper.tar.gz
tar xvf zookeeper.tar.gz

$ vi /etc/hosts
192.168.32.225 zookeeper01
192.168.32.226 zookeeper02
192.168.32.227 zookeeper03
$
$ cd zookeeper/
$ cd conf/
$ cp zoo_sample.cfg zoo.cfg 
$ cat zoo.cfg 
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/tmp
clientPort=2181
server.1=zookeeper01:2888:3888
server.2=zookeeper02:2888:3888
server.3=zookeeper03:2888:3888

myid不能相同：

$ mkdir  /data/zookeeper/tmp
$ echo 1 >  /data/zookeeper/tmp/myid ##第一台机器
$ echo 2 >  /data/zookeeper/tmp/myid ##第二台机器
$ echo 3 >  /data/zookeeper/tmp/myid ##第三台机器

查看状态：

$ ../bin/zkServer.sh  restart
$  ./zkServer.sh status
$ tail -f zookeeper.out
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower

执行客户端创建：

$ ./zkCli.sh
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 1] create /zoo hello
Created /zoo
[zk: localhost:2181(CONNECTED) 2] ls /
[zoo, zookeeper]

kafka集群

下载安装包：

$ cd /data
$ wget https://www-eu.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz
$ tar xf kafka_2.12-2.3.0.tgz -C /usr/local
$ cd ../kafka_2.12-2.3.0

主配置文件位置:

$ ls -al /usr/local/kafka_2.12-2.3.0/config/server.properties

Kafka server 基本配置:

###是kafka集群server的唯一标识
broker.id=1

### Kafka 网络相关配置
listeners=PLAINTEXT://:9092 ### 由用户配置协议，ip，port
advertised.listeners=PLAINTEXT://10.100.20.177:9092
num.network.threads=3   ###这个是borker进行网络处理的线程数
num.io.threads=8   ###这个是borker进行I/O处理的线程数
socket.send.buffer.bytes=102400 ### 发送缓冲区buffer大小，数据不是一下子就发送的，先回存储到缓冲区了到达一定的大小后在发送，能提高性能
socket.receive.buffer.bytes=102400  ###kafka接收缓冲区大小，当数据到达一定大小后在序列化到磁盘
socket.request.max.bytes=104857600 ### 这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数，这个值不能超过java的堆栈大小

### 日志配置
log.dirs=/data/kafka/kafka-logs  ###log文件存储路径
num.partitions=3 ###topic默认的partitions数量。在创建topic时，一般会指定partitions数量，因此该配置项在上述条件下基本无用。为了防止在创建topic时，未指定partitions数量，因此推荐使用配置为3。


##内部topic配置
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=2

## log保留策略配置
log.retention.hours=168 ###日志保留时间，单位小时
log.retention.bytes=1073741824 ### 
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

###zookeeper 配置
zookeeper.connect=10.100.210.177:2181,10.100.210.191:2181,10.100.210.192:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=3000

Kafka 网络相关配置
listeners：由用户配置协议，ip，port。
num.network.threads：这个是borker进行网络处理的线程数
num.io.threads：
socket.send.buffer.bytes： 发送缓冲区buffer大小，数据不是一下子就发送的，先回存储到缓冲区了到达一定的大小后在发送，能提高性能
socket.receive.buffer.bytes：
socket.request.max.bytes：

内部topic配置
开发测试环境推荐使用默认配置，均为1
生产环境推荐如下配置，replication数量为3，isr数量为2。

log 刷盘、落盘机制
log.flush.interval.messages：日志落盘消息条数间隔，即每接收到一定条数消息，即进行log落盘。
log.flush.interval.ms：日志落盘时间间隔，单位ms，即每隔一定时间，即进行log落盘。
强烈推荐开发、测试、生产环境均采用默认值，即不配置该配置，交由操作系统自行决定何时落盘，以提升性能。
若对消息高可靠性要求较高的应用系统，可针对topic级别的配置，配置该属性。

log保留策略配置
log.retention.hours：日志保留时间，单位小时。和log.retention.minutes两个配置只需配置一项。
message.max.bytes：表示接受消息体的最大大小，单位是字节
default.replication.factor：默认的备份的复制自动创建topics的个数
replica.fetch.max.bytes：最大备份的拉取数量
log.retention.bytes：日志保留大小。一topic的一partition下的所有日志大小总和达到该值，即进行日志清除任务。当日志保留时间或日志保留大小，任一条件满足即进行日志清除任务,-1表示不限制。
log.segment.bytes：日志分段大小。即一topic的一partition下的所有日志会进行分段，达到该大小，即进行日志分段，滚动出新的日志文件。
log.retention.check.interval.ms：日志保留策略定期检查时间间隔，单位ms。
日志保留大小，保留时间以及日志分段大小可根据具体服务器磁盘空间大小，业务场景自行决定。

zookeeper 配置
zookeeper.connect：zk连接地址
zookeeper.connection.timeout.ms：zk连接超时时间，默认6s。可根据具体的应用场景进行更改

consumer group 协调配置
生产环境推荐配置3000
开发测试环境推荐配置0

启动：

$ cd /usr/local/kafka_2.12-2.3.0/config/
$ ../bin/kafka-server-start.sh -daemon server.properties

查看日志：

$ tail -f -n 400 ../logs/server.log

问题记录：

Kafka超时错误：Timed out waiting for connection while in state

$ vi kafka-server-start.sh
    if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
        export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
        export JMX_PORT="9999"
    fi

解决操作：

1）测试是否能和集群中的其它zooKeeper节点端口通讯

2）测试是否能和集群中的其它节点Kafka端口通讯

3）查看防火墙配置，如果配置不好iptables，建议关闭

4）关闭SELINUX

5）查看/etc/hosts中有无其它绑定地址，如果有影响，建议临时注释后再启动查看

6）查看/etc/resolv.conf中的DNS配置

我的原因是因为/etc/resolv.conf中添加了其它的DNS地址，所以导致在Kafka启动时无法解析到集群中的其它节点,我把以下节点注释以后，启动成功

查看启动状态：

$ jps
25977 Jps
18298 QuorumPeerMain
24524 Kafka
$ netstat -anlp|egrep '2181|9092|2888|3888'
tcp        0      0 10.100.210.191:2888      0.0.0.0:*               LISTEN      22886/java
tcp        0      0 10.100.210.191:3888      0.0.0.0:*               LISTEN      22886/java
tcp        0      0 0.0.0.0:9092            0.0.0.0:*               LISTEN      26661/java     
tcp        0      0 0.0.0.0:2181            0.0.0.0:*               LISTEN      22886/java

测试集群：

$ cd /usr/local/kafka_2.12-2.3.0/bin/
## 创建Topic来验证是否创建成功
## 		--replication-factor 2   #复制两份
##		--partitions 1 #创建1个分区
##		--topic
$ ./kafka-topics.sh --create --zookeeper 10.100.210.177:2181 --replication-factor 2 --partitions 1 --topic summer

## 查看所有topic和topic 状态
$ ./kafka-topics.sh --list --zookeeper  10.100.210.177:2181
summer
$ ./kafka-topics.sh --describe --zookeeper 10.100.210.177:2181 --topic summer
Topic:summer        PartitionCount:1        ReplicationFactor:2     Configs:
        Topic: summer       Partition: 0    Leader: 0       Replicas: 0,2   Isr: 0,2
#分区为1  复制因子为2   Topic summer的分区为0 
#Replicas: 0,2   复制的为0,2

## 创建一个broker，发布者发布消息
$  ./kafka-console-producer.sh --broker-list 10.100.210.177:9092 --topic summer
>This is a messages

## 在到另一台机器或同一台一台机器开一个终端创建一个消费者消费
$  ./kafka-console-consumer.sh --bootstrap-server 10.100.210.191:9092 --topic basketball --from-beginning         
This is a messages

登录zk来查看zk的目录情况:

$ cd /usr/local/zookeeper/bin/
$ ./zkCli.sh  -server 10.100.210.177
[zk: 10.100.20.177(CONNECTED) 1] ls /
[admin, brokers, cluster, config, consumers, controller, controller_epoch, isr_change_notification, latest_producer_id_block, log_dir_event_notification, zoo, zoo1, zookeeper]

[zk: 10.100.20.177(CONNECTED) 1] get /brokers/ids/
0   1   2   
[zk: 10.100.20.177(CONNECTED) 1] get /brokers/ids/
0   1   2   
[zk: 10.100.20.177(CONNECTED) 1] get /brokers/ids/1
{"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://10.100.20.191:9092"],"jmx_port":-1,"host":"10.100.210.191","timestamp":"1569809877524","port":9092,"version":4}

kafka-eagle安装步骤

安装、解压：

cd /export/softwares/
tar -zxvf kafka-eagle-bin-1.3.2.tar.gz -C /export/servers/
cd kafka-eagle-bin-1.3.2
tar -zxvf kafka-eagle-web-1.3.2-bin.tar.gz
mv kafka-eagle-web-1.3.2/ ../
cd ../kafka-eagle-web-1.3.2

修改配置：

cd /export/servers/kafka-eagle-web-1.3.2/conf
vim system-config.properties

kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=node-1:2181,node-2:2181,node-3:2181

kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/export/servers/kafka-eagle-web-1.3.2/db/ke.db 
kafka.eagle.username=root
kafka.eagle.password=123456

配置环境变量:

vim /etc/profile

export KE_HOME=/export/servers/kafka-eagle-web-1.3.2
export PATH=:$KE_HOME/bin:$PATH

source /etc/profile

启动kafka-eagle:

cd /export/servers/kafka-eagle-web-1.3.2/bin

chmod u+x ke.sh
./ke.sh start

页面地址 用户名 密码:

http://node-3:8048/ke
http://node-3:8048/ke/account/signin?/ke/

用户名：admin
密码：12345

启动500异常解决:

#停止kafkaEagle 进程
./ke.sh stop

#2.修改kafkaEagle的启动脚本： bin/ke.sh
注释掉下面的几行内容：
# rm -rf $KE_HOME/kms/webapps/ke
# rm -rf $KE_HOME/kms/work
# mkdir -p $KE_HOME/kms/webapps/ke
# cd $KE_HOME/kms/webapps/ke
# ${JAVA_HOME}/bin/jar -xvf $KE_HOME/kms/webapps/ke.war


#3.进入目录：
cd kms/webapps/ke/WEB-INF/lib
rm -rf jackson-*.jar

#4.重新启动KafKaEagle即可

操作详情：

cd /data/zookeeper/bin/
./zkServer.sh start
./zkServer.sh stop
./zkServer.sh status
cd /data/kafka/config
../bin/kafka-server-start.sh -daemon server.properties
./kafka-topics.sh --describe --zookeeper 192.168.32.225:2181,192.168.32.226:2181,192.168.32.227:2181