weixin_59489713的博客

原创 25台es集群停止步骤

这意味着Elasticsearch将停止所有分片的分配操作，无论是初次分配、重分配还是副本分配。关键字指定），意味着重启Elasticsearch后会恢复到默认配置。如果需要永久更改，应使用。但在大多数情况下，临时禁用分片分配足够应对维护操作的需求。这段命令将集群设置中的。

原创 麒麟系统firewalld限制指定的ip访问指定的端口

accecpt 接受 reject 拒绝。然后第三个限制会把第四个第五个拦住。so 这个是错误案例。

原创 sed首行替换

： s:替换 #: ^:开头匹配 #： [^#]:匹配非# #： #&:中的&代表匹配整行，整个意思就是行前面加上#号 #： g:全部（只匹配特定行不加）

原创 服务器邮件自动化脚本

每台服务器日志太多，写一个批量自动发送指定服务日志的脚本。

原创 docker-compose部署rocketMQ

【代码】docker-compose部署rocketMQ。

原创 lvs扩容磁盘

发现已经加入OS_VG群组（如果没加入执行 vgextend OS_VG /dev/sdb加入）修改/etc/fstab 自动挂载 要不会开不开机 注视掉原来的硬盘的挂载。命令增加 XFS 文件系统的大小。必须挂载 XFS 文件系统。pvs vgs lvs 三连查看。发现一块没用的磁盘 vdb 100g。执行vgdisplay 查看空闲空间。df -Th 查看要扩容的磁盘路径。显示成功 这时候df看还没有边。

原创 firewalld增加端口限制

移除的话把add换成remove。

原创 sed 段尾增加字符

原创 创建es模板

原创 去重查询 以什么开头的字段

原创 kafka一直 Rebalancing

罪魁祸首 切割服务的自动提交。

原创 kafka扩容分片 然后重平衡

复制第二条 放在第二个json文件中，这里取名为reassignment.json。结果入下图，生成了两条信息，第一条为现在的分配情况，第二条为计划更改的内容。新建一个简本 模拟分区。

原创 切割服务导致kafka消费不均 20个消费节点 渴着劲用一个节点消费

把consumer拉取的数据的自动提交设置成了false,而并没调用commit(ofset提交接口，推送导致是其原因由于没确认又重复的拉取数据了。罪魁祸首 改成true就好了。

原创 visudo添加sudo命令

sudo不用输入密码。

原创 getfacl设置 为什么还权限不足呢

getfacl权限不足

原创 $ cd `dirname $0`

原文链接：https://blog.csdn.net/m0_58684193/article/details/126518235。这个命令写在脚本文件里才有做用，他返回这个脚本文件放置的目录，并能够根据这个目录来定位所要运行程序的相对位置（绝对位置除外）。版权声明：本文为CSDN博主「菜鸟初啼」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。cd `dirname $0`，进入当前Shell程序的目录。dirname $0，获取当前Shell程序的路径。

原创 es删除空索引 批量删除索引

筛选出空索引建立循环删除删的有点慢。

原创 rsyslog 接收消息定义

原创 failed to execute pipeline for bulk

但是总觉得哪里不对 先跑跑看吧 为啥只是这一台掉线呢。查报错日志推断是写入侧推送数据过快，ES处理能力不足导致！增大ES的内存，现场距离ES内存峰值30GB仍有很大空间。翻译过来是就是 未能执行批量处理的管道。常规场景下应该下调往ES推送的数据大小或频率。减少切割者数量 让消息数推送量变少。考虑线程池过小导致，参考后面章节。然后55节点总是掉线。

原创 Permission denied,please try again

后来检查/etc/ssh/sshd_config。添加网段后重启sshd恢复。改了新密码还是连接不上。

原创 mysql不停机锁库主从设置

②、然后启动一个事务（执行begin），备份结束的时候结束该事务（执行commit）,就相当于做一个当前时间点的数据的快照，针对当前时间点的数据再进行mysqldump备份，不对数据库本身进行锁表，这样就不会影响数据库的其他业务。有了这两个操作，在备份过程中，该session读到的数据都是启动备份时的数据（同一个点）。可以理解为对于innodb引擎来说加了该参数，备份开始时就已经把要备份的数据定下来了，备份过程中的提交的事务时是看不到的，也不会备份进去。执行数据库全量拷贝(

原创 mysql忘记密码

在my.cnf中增加跳过密码认证。

原创 es修改默认分片

ES7.x更改默认分片数量及副本。

原创 给vmstat加上时间戳

或者}'附上偶的一个脚本工具， 根据vmstat， 第一列加上时间戳， 来输出某服务器上当天的机器各项性能指标情况：/bin/bashfflush();echo $!转自。

原创 kafka noSuchFileException

kafka noSuchFileException

原创 kafka noauth for consumer

kafka noauth for consumer

原创 zookeeper如何查看节点数量

已同步followers节点数。followers节点数。在leader上执行。

原创 docker基础操作

docker基础操作。

原创 ES更改默认分片数量及副本

ES更改默认分片数量及副本。

原创 zookeer和kafka如何修改启动内存

kafka在bin下kafka-server-start.sh 修改后启动即可。zk的在bin/zkServer.sh下。

原创 consumer grep has no active members

consumer grep has no active members 检查你的消费组吧。如果是一个消费者都没有 八成是你的zookeeper出了问题。注意zk挂了后 所在机器kafka也会挂掉 记得重启。检查后果然一个zk挂掉了。

原创 mysql表备份，复制一个一模一样的表

insert into 表名（字段1,2,3） values (1,2,3);delete from 表名 where 字段1=’字段1‘；

原创 Acl is not valid（zk漏洞未授权访问）

继续修补漏洞，添加kafka网段访问权限 和用户认证 （要写在一条命令里，要不只会显示一个）停止zk 打开bin/zk.server.sh 找到下面这行 RPOP}"后面加入。不小心加个acl网段的权限，结果。启动zk 添加超管权限 成功。后面那串哈希值为admin。无奈 只要启动超管权限。

原创 Number of alive brokers ‘0’ does not meet the required replication factor ‘3’ for the offsets topic

为了防止此类事在发 建议offsets.topic.replication.factor 改成1。百度后 让将offsets.topic.replication.factor调整为节点数以下。万能重启大法 重启kafka 发现启动报错 显示。一开始以为消费组厉害，但是一上午都是0.。重启改节点后 重启kafka集群 回复。后看zookerper日志 发现。今天kafka积压监控突然为0。感觉不对劲，去kafka执行。应该是一个zk节点down了。结果报错 协调器不可用！导致整个kafka崩掉。

原创 elasticseaarch-node repurpose tool to clean up

提示需要使用elasticsearch-node repurpose清理。提示是否进行 y （确认好！如果没有备份请三思）因硬件为提 把初始的三个es节点 从数据节点变成协调节点。我设置的三个分片一个副本 挂掉一个es没有影响。扩容了25台es 全部弄成了数据节点。等分片同步完 改下一个即可。改了es.yml 启动报错。清理完毕 启动es成功。