weixin_40368523的博客

【代码】k8s配置telegraf自定义监控。

【代码】【无标题】

prometheus自动发现与zabbix批量添加节点一、prometheus自动发现基于consul实现1、consul单节点安装：docker run --name consul1 -d -p 8500:8500 -p 8300:8300 -p 8301:8301 -p 8302:8302 -p 8600:8600 consul:1.2.22、注册服务到consul，批量添加IP_LIST="xxx.xxx.xxx.xxx" for ip in ${IP_LIST}do ho

事件参考网上文章解决：https://blog.csdn.net/mdzz14/article/details/111656726 某一天在测试环境使用dcoker的时候发现不能使用，起初怀疑是否由同事卸载，后续在使用curl命令的时候发现不能使用，怀疑服务器出现了别的异常并在crontab下发现了异常脚本newinit.sh的脚本，证实服务器中了挖矿病毒。原因：开发在测试环境搭建的redis，服务监听了公网端口未设置访问密码并且其进程启动时使用了root用户，攻击者可远程登录到Redis中，通过R.

说明：提前创建好快照仓库，对前一天的数据做快照，并删除历史数据和过期的快照数据。es_snapshot.pyfrom elasticsearch import Elasticsearchimport reimport timeimport datetimeclass EsSnapshot(): def __init__(self,Es,Index): self.Es = Es self.Index = Index def Date(sou

Mha+Keepalived高可用搭建MHA工作原理从宕机崩溃的Master保存二进制日志事件（binlog event）；识别含有最新更新的Slave；应用差异的中继日志（relay log）到其他Slave；应用从Master保存的二进制日志事件；提升一个Slave为新的Master；使其他的Slave连接新的Master进行复制；在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达

简介：以层级结构组织Playbook的核心元素，成为roles。核心元素包括以下几点：    Hosts：主机    Tasks：任务列表    Variables：变量    Templates：包含了模板语法的文本文件；    Handlers：由特定条件触发的任务；在roles目录下，分别创建不同的

任务管理xxl-job【集群搭建】一、源码安装1、初始化数据库初始化脚本在上面源码目录的 /home/ops/xxl-job-2.2.0/doc/db/tables_xxl_job.sql ，将此脚本在MySQL数据库中执行一遍。行完毕，会在MySQL数据库中生成 16 张表：2、调度中心配置：调度中心项目：xxl-job-admin调度中心配置文件地址：/xxl-job/xxl-job-admin/src/main/resources/application.propertieshom

es配合garafana监控$cat es_grafana_monitor.py #!/usr/bin/env pythonimport datetimeimport timeimport json# import urllib2import osimport sysimport refrom elasticsearch import helpersfrom elasticsearch import Elasticsearchinterval = int(os.environ.ge

读取数据的延迟监控import osimport timeimport jsondef mes(): message = os.popen('curl -s -u xxx:xxx -XGET "http://es-cn-9841n4lyn000a4eke.elasticsearch.aliyuncs.com:9200/xxxxxxxx-94/_stats"') m = message.read() message.close() messages = json.lo

少量数据迁移使用elasticdump安装npm，然后安装elasticdumpnpm install elasticdump -g以下是分了三个步骤进行，第一条命令先将索引的settings先迁移，如果直接迁移mapping或者data将失去原有集群中索引的配置信息如分片数量和副本数量等，当然也可以直接在目标集群中将索引创建完毕后再同步mapping与data。# -*- coding:utf-8-*-from elasticsearch import Elasticsearchimpor

haproxy+keepalived实现双主模式下的高可用正向代理一、背景简介   为了解决本地集群不能直达数据接收端的现状。使用haproxy做四层代理，keealived解决代理端单点故障。   HAProxy简介：HAProxy是一款提供高可用性、负载均衡以及基于TCP（第四层）和HTTP（第七层）应用的代理软件，HAProxy是完全免费的、借助HAProxy可以快速并且可靠的提供基于TCP和HTTP应用的代理解决方案。 &

简介：热数据节点处理所有新输入的数据，并且存储速度也较快，以便确保快速地采集和检索数据。冷节点的存储密度则较大，如需在较长保留期限内保留日志数据，不失为一种具有成本效益的方法。搭建环境：es版本：7.6.1架构：3个master节点，6个热数据节点，8个温数据节点解压缩上传es文件ansible es -m unarchive -a “src=/data/install_tools/elasticsearch-7.6.1-linux-x86_64.tar.gz dest=/home/es cop

zookeeper简介：    ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是大数据生态中的重要组件。它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户   Zookeeper工...

禁止分片PUT _cluster/settings{“persistent”: {“cluster.routing.allocation.enable”: “primaries”}}停止非必要索引并执行同步刷新POST _flush/synced开始升级各个节点关闭单个节点supervisorctl stop es(使用supervisor对进程做管理)执行升级脚本...

设置分片均衡数PUT _cluster/settings{“transient” : {“cluster” : {“routing” : {“allocation” : {“enable” : “all”,“total_shards_per_node” : “1100”}}}}}手动迁移分片POST _cluster/reroute’ -d ‘{“comman...

主分片丢失重新划分分片POST /_cluster/reroute{“commands” : [ {“allocate_empty_primary” : {“index” : “rt_2019-04-ext”,“shard” : 2, ////丢失的分片“node” : “es3”, ///重新恢复的分片的节点“accept_data_loss”:true}}]}...

修改number_of_replicasPUT http-2019.08.19/_settings{“index”:{“number_of_replicas”:0}}对段进行合并：POST http-2019.08.19/_forcemerge?max_num_segments=1恢复PUT http-2019.08.19/_settings{“index”:{...

创建仓库PUT /_snapshot/ihe_backup{“type”: “hdfs”,“settings”: {“path”: “elasticsearch/repositories/ih”,“load_defaults”: “true”,“compress”: “true”,“uri”: “hdfs://192.1.25.167:8020/”,“conf.dfs.doma...

查询所有：GET /myindex/_search{ "query": { "match_all": {} }}查询执行字段GET /myindex/_search{ "query": { "match_all": {} }, "_source": ["name","ip","port"]}term查询，对字段和值的精确查询。terms同时查询多个值...