菜鸟运维升级之路

在实际产生环境中主要以prometheus监控为主,在使用该监控时,有个很大的问题时,需要手动修改Prometheus.yml文件,将监控指标手动添加进去,当监控指标少的时候,维护和添加都很方便,但是当一套环境中监控指标多大几百个,添加工作繁琐,这时你会想到写个shell脚本,对多个监控指标进行添加,但是你有没有考虑过此时的prometheus.yaml文件的可维护性以及当添加的监控指标越来越多时,prometheus主机的cpu、内存也随之增长,这时你该怎么处理呢？ 写这个代码的原因有两个,其一就是我刚开始所说的维护prometheus.yml文件的成本越来越高,且服务器资源日益不足;其二刚才最近在学习golang,也借此机会提高一下golang的基础语法知识以及标准库的使用方法。因此才有此代码的诞生.主要给大家一个思路,像代码中的consul标签处理部分也仅适用于我司,如果要想看源码.见本博客下载即可。

数据库备份与恢复是数据库管理中最重要的方面之一。如果数据库崩溃后却没有办法恢复，那么对企业造成的毁灭性结果可能会是数据丢失、收入减少、客户不满等。不管公司是使用单个数据库还是多个数据库来存储数百 GB 或 TB 的数据，它们都有一个共同点，即需要有一个备份与恢复方案或脚本来备份重要数据并使自身免于灾难。 以下脚本主要用于全量备份，已验证MySQL-5.7版本可正常使用。 数据库备份一般有逻辑备份与物理备份： 逻辑备份包含使用 mysqldump 命令导出并存储在二进制文件/SQL文件中的数据，只能还原至备份的时间点，例如mysqldump，操作过程中会锁表。 物理备份是物理数据库文件的副本，可以利用全备份加增量binlog备份还原至任意时间点，例如xtrabackup，操作过程中不会锁表。 主要有有以下优点： 1.备份速度快，且可靠 2.备份过程中不会打断正在执行的事务 3.能够基于压缩等功能节约磁盘空间和流量 4.自动备份校验 5.备份还原的速度更快 6.可以使用流备，将备份传输到另一台机器

linux x86_64操作系统docker-1.19版本安装包,适用于服务器无法通外网,下载上传到服务器后,解压执行包中的install.sh脚本,即可完成离线安装

该脚本是由shell语言编写完成，主要用于实现一键部署graylog-sidecar组件，其中包含了组件的cgroup限制、sidecar.yml文件的自动修改、开源组件的自动下载、完成部署时的提示及部署时长显示。并设置了该组件的systemctl管理方式、开机自启动，防止因宕机造成sidecar不可用，导致服务日志采集失败的现象问题。 下载该脚本后可根据自身环境的服务器大小，来动态调整cgroup资源限制，使得该组件能以更优的方式运行。不会发生抢占系统资源现象。

该安装脚本是由ansible-playbook所编写的，将本地的rpm保存在file目录下，然后创建hosts文件，添加对应的graylog服务器组，执行ansible--playbook -i hosts graylog.yml即可完成部署。该部署脚本已上生产环境使用，且效率和复用率很高，你只需要将rpm包替换为你自己下载的graylog包，执行上述命令即可完成安装,单节点、集群都可以完成部署。记得创建hosts文件中的服务器组

elasticsearch数据备份工具之elasticdump

elasticsearch集群安全加密插件之search-guard

es的search-guard安全加密认证之生成证书工具

es插件之es-head插件，适用于浏览器安装并查看es相关分片及索引等

es插件之文件抽取插件ingest-attachment

es插件之ik分词器插件(适用于es6.8版本)

es插件之中文拼音插件(适用于es6.8版本)

适用于x86_64架构 纯内网安装ansible