kafka-manager

kafka-manager

# 要求
Kafka 0.8.. or 0.9.. or 0.10.. or 0.11..
Java 11+
[root@kafka ~]# https://github.com/yahoo/CMAK/releases/download/3.0.0.5/cmak-3.0.0.5.zip
[root@kafka ~]# cd /usr/local
[root@kafka localhost]# unzip -o cmak-3.0.0.5.zip
[root@kafka localhost]# cd cmak/conf
[root@kafka conf]# cp application.conf{,.bak}
[root@kafka conf]# vim application.conf
# kafka-manager.zkhosts="kafka-manager-zookeeper:2181" 
# kafka-manager.zkhosts=${?ZK_HOSTS}
  cmak.zkhosts="192.168.57.130:12181,192.168.57.131:12181,192.168.57.132:12181"
# cmak.zkhosts=${?ZK_HOSTS}

[root@kafka conf]# ../bin/cmak    # 启动

# 默认情况下，它将选择端口9000。这是可覆盖的，配置文件的位置也是如此
[root@kafka bin]# ./cmak -Dconfig.file=/path/to/application.conf -Dhttp.port=8080

# 如果java不在您的路径中，或者您需要针对其他版本的Java运行，请添加-java-home选项
[root@kafka bin]# ./cmak -java-home /usr/lib/jvm/zulu-11-amd64

# 通过安全性启动服务,要为SASL添加JAAS配置（注意：确保运行CMAK（pka kafka管理器）的用户具有jaas配置文件的读取权限）
[root@kafka bin]# ./cmak -Djava.security.auth.login.config=/path/to/my-jaas.conf

配置文件解释（从github上拉取的）

#版权所有2015 Yahoo Inc.。已获得Apache许可，版本2.0
#请参阅随附的LICENSE文件。

#这是应用程序的主要配置文件。
#~~~~~

# 密钥
#~~~~~
#密钥用于保护密码功能。
#如果将应用程序部署到多个实例，请确保使用相同的密钥！
play.crypto.secret =“ ^ <csmm5Fx4d = r2HEX8pelM3iBkFVv？k [mc; IZE <_Qoq8EkX_ / 7 @ Zt6dP05Pzea3U”
play.crypto.secret = $ {？APPLICATION_SECRET}
play.http.session.maxAge =“ 1h”

#应用语言
#~~~~~
play.i18n.langs = [“ en”]

play.http.requestHandler =“ play.http.DefaultHttpRequestHandler”
play.http.context =“ /”
play.application.loader = loader.KafkaManagerLoader

# 以'kafka-manager'开头的设置。将不推荐使用，请使用“ cmak”。代替。
# https://github.com/yahoo/CMAK/issues/713
kafka-manager.zkhosts =“ kafka-manager-zookeeper：2181”
kafka-manager.zkhosts = $ {？ZK_HOSTS}
cmak.zkhosts =“ kafka-manager-zookeeper：2181”
cmak.zkhosts = $ {？ZK_HOSTS}

pinned-dispatcher.type =“ PinnedDispatcher”
pinned-dispatcher.executor =“线程池执行器”
application.features = [“” KMClusterManagerFeature“，” KMTopicManagerFeature“，” KMPreferredReplicaElectionFeature“，” KMReassignPartitionsFeature“，” KMScheduleLeaderElectionFeature“]

阿卡{
  记录器= [“ akka.event.slf4j.Slf4jLogger”]
  loglevel =“ INFO”
}

akka.logger-startup-timeout = 60s

basicAuthentication.enabled = false
basicAuthentication.enabled = $ {？KAFKA_MANAGER_AUTH_ENABLED}

basicAuthentication.ldap.enabled = false
basicAuthentication.ldap.enabled = $ {？KAFKA_MANAGER_LDAP_ENABLED}
basicAuthentication.ldap.server =“”
basicAuthentication.ldap.server = $ {？KAFKA_MANAGER_LDAP_SERVER}
basicAuthentication.ldap.port = 389
basicAuthentication.ldap.port = $ {？KAFKA_MANAGER_LDAP_PORT}
basicAuthentication.ldap.username =“”
basicAuthentication.ldap.username = $ {？KAFKA_MANAGER_LDAP_USERNAME}
basicAuthentication.ldap.password =“”
basicAuthentication.ldap.password = $ {？KAFKA_MANAGER_LDAP_PASSWORD}
basicAuthentication.ldap.search-base-dn =“”
basicAuthentication.ldap.search-base-dn = $ {？KAFKA_MANAGER_LDAP_SEARCH_BASE_DN}
basicAuthentication.ldap.search-filter =“（uid = $ capturedLogin $）”
basicAuthentication.ldap.search-filter = $ {？KAFKA_MANAGER_LDAP_SEARCH_FILTER}
basicAuthentication.ldap.group-filter =“”
basicAuthentication.ldap.group-filter = $ {？KAFKA_MANAGER_LDAP_GROUP_FILTER}
basicAuthentication.ldap.connection-pool-size = 10
basicAuthentication.ldap.connection-pool-size = $ {？KAFKA_MANAGER_LDAP_CONNECTION_POOL_SIZE}
basicAuthentication.ldap.ssl = false
basicAuthentication.ldap.ssl = $ {？KAFKA_MANAGER_LDAP_SSL}
basicAuthentication.ldap.ssl-trust-all = false
basicAuthentication.ldap.ssl-trust-all = $ {？KAFKA_MANAGER_LDAP_SSL_TRUST_ALL}

basicAuthentication.username =“ admin”
basicAuthentication.username = $ {？KAFKA_MANAGER_USERNAME}
basicAuthentication.password =“密码”
basicAuthentication.password = $ {？KAFKA_MANAGER_PASSWORD}

basicAuthentication.realm =“ Kafka-管理器”
basicAuthentication.excluded = [“ / api / health”]#ping不经过身份验证的实例的运行状况


kafka-manager.consumer.properties.file = $ {？CONSUMER_PROPERTIES_FILE}

cmak.zkhosts="my.zookeeper.host.com:2181"

# 您可以通过逗号分隔来指定多个zookeeper主机，如下所示：
cmak.zkhosts="my.zookeeper.host.com:2181,other.zookeeper.host.com:2181"

# 另外，ZK_HOSTS如果您不想对任何值进行硬编码，请使用环境变量。
ZK_HOSTS="my.zookeeper.host.com:2181"

# 您可以选择通过修改application.conf中的默认列表来启用/禁用以下功能：
application.features=["KMClusterManagerFeature","KMTopicManagerFeature","KMPreferredReplicaElectionFeature","KMReassignPartitionsFeature"]
KMClusterManagerFeature-'允许从CMAK添加，更新，删除集群（pka Kafka Manager）
KMTopicManagerFeature-'允许从Kafka集群添加，更新，删除主题
KMPreferredReplicaElectionFeature-'允许运行Kafka集群的首选副本选举
KMReassignPartitionsFeature-'允许生成分区分配并重新分配分区

# 考虑为启用了jmx的较大群集设置这些参数：
cmak.broker-view-thread-pool-size = <3 '经纪人人数'>
cmak.broker-view-max-queue-size = <3 '所有主题的分区总数'>
cmak.broker-view-update-seconds = <cmak.broker-view-max-queue-size /（10 * number_of_brokers）>

# 这是一个具有10个代理，100个主题的kafka集群的示例，每个主题有10个分区，其中启用了JMX的分区总数为1000：
cmak.broker-view-thread-pool-size = 30
cmak.broker-view-max-queue-size = 3000
cmak.broker-view-update-seconds = 30

# follow控制使用者偏移缓存的线程池和队列：
cmak.offset-cache-thread-pool-size = <'默认为处理器数量'>
cmak.offset-cache-max-queue-size = <'默认值为1000'>
cmak.kafka-admin-client-thread-pool-size = <'默认为处理器数量'>
cmak.kafka-admin-client-max-queue-size = <'默认值为1000'>
# 对于启用了消费者轮询的大量消费者，您应该增加上述值。尽管它主要影响基于ZK的用户轮询。
# Kafka管理的使用者偏移量现在由KafkaManagedOffsetCache从"__consumer_offsets"主题中使用。请注意，这尚未经过大量偏移量的测试。每个群集只有一个线程在使用该主题，因此它可能无法跟上大量推送到该主题的偏移量。

使用LDAP验证用户
# 警告
  您需要使用CMAK（pka Kafka管理器）配置SSL，以确保您的凭据不会未经加密地传递。通过将用户凭据与Authorization标头一起传递，可以使用LDAP验证用户。首次访问时会进行LDAP身份验证，如果成功，则会设置一个cookie。在下一个请求时，将cookie值与Authorization标头中的凭据进行比较。LDAP支持通过基本身份验证过滤器进行。

# 配置基本身份验证
basicAuthentication.enabled = true
basicAuthentication.realm = <'基本身份验证领域'>

# 加密参数（可选，否则在启动时随机生成）：
basicAuthentication.salt ='某些十六进制字符串表示字节数组'
basicAuthentication.iv ="某些十六进制字符串表示字节数组"
basicAuthentication.secret ="my-secret-string"

# 配置LDAP / LDAPS身份验证
basicAuthentication.ldap.enabled = <'用于启用/禁用ldap认证的布尔标志'>
basicAuthentication.ldap.server = <'LDAP服务器的fqdn'>
basicAuthentication.ldap.port = <'LDAP服务器的端口'>
basicAuthentication.ldap.username = <'LDAP搜索用户名'>
basicAuthentication.ldap.password = <'LDAP搜索密码'>
basicAuthentication.ldap.search-base-dn = <'LDAP搜索库'>
basicAuthentication.ldap.search-filter = <'LDAP搜索过滤器'>
basicAuthentication.ldap.connection-pool-size = <'与LDAP服务器的连接数'>
basicAuthentication.ldap.ssl = <'用于启用/禁用LDAPS的布尔标志'>

# （可选）限制对特定LDAP组的访问
basicAuthentication.ldap.group-filter = <'LDAP组过滤器'>
basicAuthentication.ldap.ssl-trust-all = <'用于允许未过期无效证书的布尔标志'>

# 示例（在线LDAP测试服务器）：
basicAuthentication.ldap.enabled = true
basicAuthentication.ldap.server =“ ldap.forumsys.com”
basicAuthentication.ldap.port = 389
basicAuthentication.ldap.username =“ cn =只读管理员，dc =示例，dc = com”
basicAuthentication.ldap.password =“密码”
basicAuthentication.ldap.search-base-dn =“ dc = example，dc = com”
basicAuthentication.ldap.search-filter =“（uid = $ capturedLogin $）”
basicAuthentication.ldap.group-filter =“ cn =允许组，ou =组，dc =示例，dc = com”
basicAuthentication.ldap.connection-pool-size = 10
basicAuthentication.ldap.ssl = false
basicAuthentication.ldap.ssl-trust-all = false