kafka的集群搭建，一起来学习吧!

启动zookeeper

在本地2181端口启动ZK。zookeeper集群启动参考 
https://blog.csdn.net/qiushisoftware/article/details/79043379

bin/zookeeper-server-start.sh config/zookeeper.properties

• 1

如果你需要对zookeeper开启SASL认证，请在配置文件中加上

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
requireClientAuthScheme=sasl
jaasLoginRenew=360000

• 1
• 2
• 3

并编写JAAS文件

Server {
   org.apache.kafka.common.security.plain.PlainLoginModule required
   username="admin"
   password="admin-secret"
   user_admin="admin-secret";
};

• 1
• 2
• 3
• 4
• 5
• 6

启动命令行如下

export KAFKA_OPTS="-Djava.security.auth.login.config=/opt/app/gdl/zookeeper-3.4.11/conf/zookeeper_jaas.conf"
nohup sh bin/zkServer.sh start conf/zoo.cfg >zoo.log&

• 1
• 2

如果你使用的是kafka自带的zookeeper，请参考 
https://blog.csdn.net/geting/article/details/52044055

启动kafka

复制kafka的配置文件，两个配置文件的端口号应该不同

bin/kafka-server-start.sh config/server.properties
bin/kafka-server-start.sh config/server-1.properties
bin/kafka-server-start.sh config/server-2.properties

• 1
• 2
• 3

config/server-1.properties:
    broker.id=1
    listeners=PLAINTEXT://:9093
    log.dir=/tmp/kafka-logs-1

config/server-2.properties:
    broker.id=2
    listeners=PLAINTEXT://:9094
    log.dir=/tmp/kafka-logs-2

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9

如果你在云环境部署，建议在listeners中配置上该主机的IP。否则，broker注册到zk的将是自己的主机名，如果云环境不能很好的解析主机名，就会导致问题。 
如果你的主机内网访问IP和外网访问IP不同，listeners中应配置内网访问IP，advertised listeners应配置外网访问IP。

创建topic（使用命令行）

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

//查看已经创建的topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
//查看topic的具体信息
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

• 1
• 2
• 3
• 4
• 5
• 6

生产消息（使用命令行）

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic

• 1

消费消息（使用命令行）

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic

• 1

部署kafka监控

这里使用kafkamanager，这个使用play框架 
下载地址 
https://github.com/yahoo/kafka-manager/releases

首先，在用户目录的./sbt下建立如下repositories文件

[repositories]
local
aliyun: http://maven.aliyun.com/nexus/content/groups/public
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly

• 1
• 2
• 3
• 4

解压缩并进入上述文件夹

 ./sbt clean dist

• 1

kafka manager应配置登陆权限，避免配置被意外更改。kafka manager通过访问zookeeper来操纵kafka集群，即使没有broker存活，也可以对相关信息进行更改。

注意，现在kafka集群采取在集群中topic中存储offset的做法。但是kafka manager只支持PLAINTEXT的方式访问集群。所以必须为集群配置PLAINTEXT

启动前，需要对配置文件做如下修改

kafka-manager.zkhosts="10.237.64.46:2181"#这是你zookeeper的IP

• 1

运行启动脚本即可。

部署schema-registry的插件

使用请参考如下文档： 
https://docs.confluent.io/current/schema-registry/docs/maven-plugin.html 
启动前修改schema-registry.properties文件

listeners=http://10.237.64.46:9096 #对外提供服务的端口
kafkastore.connection.url=localhost:2181 #kafka zk的ip 用于持久化

• 1
• 2

运行启动脚本即可。

部署schema-registry ui

请参考如下文档 
https://github.com/landoop/schema-registry-ui 
使用UI一定要设置跨域访问。跨域访问除了服务端设置，还要在浏览器上设置跨域访问。

为kafka配置SSL

首先，如果要使用外网来传递消息，安全起见，需要加上SSL 
在server.properties文件上加上如下配置：

##内网client和broker可以通过9092端口明文访问，外网client则通过9094端口SSL方式访问
listeners=PLAINTEXT://10.83.1.48:9092,SSL://10.83.1.48:9094
ssl.keystore.location=/opt/app/mskyprocess/kafka_2.11-1.0.1/ssl/server.keystore.jks
ssl.keystore.password=123456
ssl.key.password=123456
ssl.truststore.location=/opt/app/mskyprocess/kafka_2.11-1.0.1/ssl/server.truststore.jks
ssl.truststore.password=123456

• 1
• 2
• 3
• 4
• 5
• 6
• 7

server.keystore.jks和server.truststore.jks的取得请参考kafka官方文档（其实就是SSL的公钥库和信任库）。 
http://kafka.apache.org/documentation/#security_overview 
使用JDK自带的keytool工具。具体命令如下

            #!/bin/bash
            #Step 1
            ##产生服务端的keystoreserver.keystore.jks文件（加密算法为RSA，有效期为36500，存储在server.keystore.jks，别名为localhost）
            keytool -keystore server.keystore.jks -alias localhost -validity 36500 -keyalg RSA -genkey
            ##产生客户端的keystore
            keytool -keystore client.keystore.jks -alias localhost -validity 36500 -keyalg RSA -genkey

            #Step 2
            ##产生ca-cert ca-key文件 就是一个密钥对 注意集群中的ca-key和ca-cert应该保持一致！（也就是说你配置除了第一台服务器外，其他服务器应该吧这两个文件和ca-cert.srl直接拷贝过去）
            openssl req -new -x509 -keyout ca-key -out ca-cert -days 36500
            ##添加server和client对CA的信任。
            keytool -keystore server.truststore.jks -alias CARoot -import -file ca-cert
            keytool -keystore client.truststore.jks -alias CARoot -import -file ca-cert 

            #Step 3
            ##将第一步生成的localhost密钥导出（公钥）为cert-file文件
            keytool -keystore server.keystore.jks -alias localhost -certreq -file cert-file
            ##对client进行同样的操作
            keytool -keystore client.keystore.jks -alias localhost -certreq -file client-cert-file

            ##使用ca-key（CA的私钥）对上一步导出的cert-file进行加密，加密结果为cert-signed文件
            openssl x509 -req -CA ca-cert -CAkey ca-key -in cert-file -out cert-signed -days 36500
            ##对于client做同样操作
            openssl x509 -req -CA ca-cert -CAkey ca-key -in client-cert-file -out client-cert-signed -days 36500 

            ##Step 4
            #将CA证书导入服务器keystore
            keytool -keystore server.keystore.jks -alias CARoot -import -file ca-cert
            keytool -keystore client.keystore.jks -alias CARoot -import -file ca-cert

            #签名后的server认证加入server的keystore，client认证加到client的keystore
            keytool -keystore server.keystore.jks -alias localhost -import -file cert-signed
            keytool -keystore client.keystore.jks -alias localhost -import -file client-cert-signed

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33

配置完成后可以作如下验证，验证SSL是否配置成功

openssl s_client -debug -connect localhost:9094 -tls1

• 1

• 配置命令行producer 
  在producer.properties文件下加入如下设置

bootstrap.servers=localhost:9094
security.protocol=SSL
ssl.truststore.location=/opt/app/mskyprocess/kafka_2.11-1.0.1/ssl/client.truststore.jks
ssl.truststore.password=123456

• 1
• 2
• 3
• 4

启动之

sh kafka-console-producer.sh --broker-list 10.221.198.126:9094 --topic test --producer.config ../config/producer.properties

• 1

• 配置命令行consumer 
  修改consumer.propeties文件，加入如上producer.properties的设置。启动之。

sh kafka-console-consumer.sh --bootstrap-server 10.221.198.126:9094 --topic test --consumer.config ../config/consumer.properties

• 有需要的联系我2317384986       yxxy1717

访问控制

即使在内网，我们也可能会面临员工误操作带来悲剧事件。所以，我们需要加上SASL_JAAS来进行访问控制。简单来说，就是明文校验用户名和密码。

首先在broker端的配置目录新建kafka_server_jaas.conf

KafkaServer {
       org.apache.kafka.common.security.plain.PlainLoginModule required
       username="admin"
       password="admin"
       user_admin="admin"