kafka
jiangheng521
这个作者很懒,什么都没留下…
展开
-
kafka 权限控制
禁止所有权限: cat deny_all_acl.sh #/bin/sh if [ $# -lt 1 ]; then echo "please input like sh deny_all_acl.sh hostip " exit -1 fi basedir=$(cd `dirname $0`;pwd) zk=$(sed -n 's/^zookeeper.connect=//p' ${basedir}/../config/server.properties) sh ${basedi...原创 2020-10-29 18:34:30 · 1073 阅读 · 0 评论 -
Kafka Mirrormaker(支持多机房数据mirror)
1 在异地机房安装kafka,从现有服务器上copy zk和kafka软件到新的服务器上,修改配置文件主要修改的参数 server.properties broker.id zookeeper.connect 如果配置认证需要这么写: listeners=SASL_PLAINTEXT://0.0.0.0:9092 advertised.listeners=SASL_PLAINTEXT://x.x.x.x:9092 (kafka对外提供服务的ip) security.inter.broker.p..原创 2020-10-29 17:43:45 · 925 阅读 · 1 评论 -
kafka broker宕机修复
1、将邻居的软件copy至本机 2、将配置文件中的broker.id 改为宕机服务器一样的id 3、创建对应的数据目录 4、重启kafka即可原创 2020-03-30 18:10:13 · 835 阅读 · 0 评论 -
ZooKeeper故障节点替换
背景: 5节点的Zookeeper宕机一个节点,服务器无法修复,需要部署新的节点 恢复步骤: 1、将邻居服务器的ZooKeeper软件cp到新装机的服务器上 2、将Zookeeper的配置文件中故障服务器的ip换成新的ip 3、在dataDir目录中创建myid,myid写入之前故障服务器的myid 4、将配置文件copy到其它四台服务器,一次重启问题解决 配置文件范例 tickT...原创 2020-03-30 17:54:03 · 653 阅读 · 0 评论 -
Kafka配置外网访问简要配置
低版本有两个配置参数需要修改: advertised.host.name=ip地址 #<==kafka开放到外网的IP advertised.port=9092 #<==9092映射到外网后的端口 新版本 broker配置弃用了advertised.host.name 和 advertised.port 这两个个配置项,就配置ad...原创 2019-11-28 16:33:22 · 2470 阅读 · 0 评论 -
Kafka在线动态调整topic分区partition
我们在创建kafka topic的时候有时候会对topic的分区进行调整,调整topic分区可以用kafka自带的脚本kafka-topics.sh kafka-topics.sh可以创建 删除 修改分区的一些属性 # ./kafka-topics.sh [2019-11-28 16:07:05,424] INFO Registered kafka:type=kafka.Log4jContr...原创 2019-11-28 16:25:18 · 3451 阅读 · 0 评论