Elasticsearch备份 常见备份方案使用es的快照和恢复功能进行备份和恢复适用于:集群整体备份与迁移。包括:全量、增量备份和恢复使用elasticdump迁移mapping数据适用于:索引层面迁移数据或mapping,支持:analyzer/mapping/data的迁移操作比较:reindex跨集群操作,elasticdump无需在es集群的配置文件中设置授权迁移访问地址(白名单)reindex实行集群内部...
kubernetes之限制临时存储容量 Local限制Kubernetes版本1.8引入了新资源_ephemeral-storage_,用于管理本地临时存储。 在每个Kubernetes节点中,kubelet的根目录(默认为 /var/lib/kubelet)和日志目录( /var/log )存储在节点的根分区上。 Pods还通过emptyDir卷,容器日志,镜像层和容器可写层共享和使用此分区。Pod的每个容器可以指定以下一项或多项...
kubernetes创建只读用户 The One Waykubernetes中有一个默认的的clusterrole:view。它就是一个只有只读权限的角色。进行查看kubectl describe clusterrole view,显示结果如下:[centos@aaa test]$ sudo kubectl describe clusterrole viewName: viewLabels: k...
Linux load average详解 转载至linux load average负载详细解释一、load averagetop命令中load average显示的是最近1分钟、5分钟和15分钟的系统平均负载。系统平均负载表示 系统平均负载被定义为在特定时间间隔内运行队列中(在CPU上运行或者等待运行多少进程)的平均进程数。如果一个进程满足以下条件则其就会位于运行队列中: - 它没有在等待I/O操作的结果 - 它没有主...
Loki QL查询语句 LogQL:日志查询语言基本的LogQL查询由两部分组成:log stream selector、filter expressionLog stream selector它由一个或多个键值对组成,每个键是一个日志标签,值的话是标签的值,例如{app="mysql",name="mysql-backup"}在这个例子中,记录具有的标签流app,其值是mysql 和的一个标签name,它的...
Go语言之log库 GO语言之log库使用标准logger的配置日志前缀日志输出位置自建logger使用GO语言内置的log包实现了简单的日志服务。以下主要介绍log的基本使用package mainimport "log"func main() { log.Println("这是一条很普通的日志。") v := "不正常的" log.Printf("这是一条%s日志。", v) log.Fa...
kubernetes之Affinity亲和性 背景介绍一般情况部署的Pod是通过集群的自动调度策略来选择节点,默认情况下调度器考虑的是资源足够,并且负载尽量平均。但是有时候我们并不需要一些服务都部署在同一节点上,害怕服务之间产生影响;但是有时候也需要部署在同一节点上。这时候就用到了亲和性与反亲和性亲和性种类:nodeAffinity(节点亲和性)、podAffinity(Pod亲和性)nodeSelector首先了解最常见与简单的调度...
kubernetes之job,taints与tolerations Job使用对象:常用于运行那些仅需要执行一次的任务(数据库迁移、批处理脚本、kube-bench扫描等)种类:非并行job:通常创建一个Pod直至其成功结果固定次数的job:通过设置.sepc.completions(需要成功运行pod的数量),创建多个pod,直到.sepc.completions个pod运行成功带有工作队列的并行Job:设置.spec.Parallelis...
网络带宽iperf3、磁盘IO测试fio 网络带宽测试使用工具:iperf3。官网地址:https://iperf.fr/iperf-download.php下载方式:yum下载;二进制包下载(具体看网络情况)使用方法:这是一个c/s架构。服务端:iperf3 -s客户端:iperf3 -c server_ip参数介绍:服务端只要使用-s即可客户端-u 设置为UDP测速-c 指定服务端IP-b 指...
Loki收集应用日志 搭建前提:loki需搭建好简要说明:搭建Pod应用时,将日志收集路径挂载出来。同时sidecar容器中也挂载此收集路径,将其挂载到empty dir上,将收集的日志发送到loki上。可以使用fluentd fluent-bit和promtail;这里使用promtail。部署文件如下apiVersion: v1kind: ConfigMapmetadata: name: promta...
promtail对接loki收集日志 Loki的搭建就不作说明,相对简单,只需挂载配置文件与端口即可如果是自己制作的image,启动loki需要指定配置文件进行启动promtail搭建promtail搭建采用导入yaml文件方式进行搭建注意事项:搭建时注意namespace,镜像,以及loki服务器地址部署文档kind: ClusterRoleapiVersion: rbac.authorization.k8s.io/v...
fluent-bit对接loki收集日志 Loki搭建指定端口3100,以及配置文件即可,如下图所示:使用镜像:grafana/loki:v1.0.0loki配置文件如下:auth_enabled: falseserver: http_listen_port: 3100ingester: lifecycler: address: 127.0.0.1 ring: kvstore: ...
elasticsearch lifestyle管理index elasticsearch lifestyle管理index问题index对于lifestyle有两种情况:一种是现有的index,如何与ilm进行对接;另一种是即将创建的index,如果指定与ilm进行对接。情况一管理现有index。在dev工作界面进行设定PUT logstash-*/_settings #对于以 logstash-开头的index,都已delete-logs...
Oauth 2.0介绍 Oauth 2.0Oauth2.0是一种授权机制,用来授权第三方应用,获取用户数据。例如快递需要进入小区送货但是没有门卡进入相同。这里相当于给了快递小哥权限进入小区权限,每次进入都需要征求户主同意一样。token 与password的区别:token是短期的,到期就会自动失效,用户无法自己修改,password长期有效,用户不进行修改,就不会发生变化token可以被数据所有者撤销,会立即失...
kubernetes搭建es集群 问题描述:(es环境为7.2.0)新版废弃了原先discovery.zen.ping.unicast.hosts及discovery.zen.minimum_master_nodes的探测方式,而是改为了discovery.seed_hosts及cluster.initial_master_nodes,其中第一项换汤不换药,值还是一样的,我们还是填内部服务域名,而后一项就有点恶心了,这项在实体服...
kubernetes搭建etcd集群 Etcd下载etcdyum -y install etcd-3.3.11修改配置文件/etc/etcd/etcd.confETCD_NAME="etcd1" ETCD_DATA_DIR="/var/lib/etcd/default.etcd"ETCD_LISTEN_PEER_URLS="http://192.168.110.3:2380" ETCD_LISTEN_CLIEN...
elasticsearch(磁盘删除data后kibana自动进入只读模式) Elasticsearch 基于磁盘的碎片分配向index插入、删除数据时发生报错,index [.kibana_1] blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];: [cluster_block_exception] index [.kibana_1] blocked by: [FORBIDDEN/12/in...
删除一直处于terminating状态的namespace 删除一直处于terminating状态的namespace解决方法一:kubectl delete namespace cattle-system如果不能删除,解决方法二:kubectl delete namespace cattle-system –force --grace-period=0 #强制删除如果还不能删除,别担心,放大招解决方法三:kubectl edit...
k3s 最新部署 k3s relase地址https://github.com/rancher/k3s/releases/环境准备:selinux关闭 /usr/sbin/sestatus -v查看状态vim /etc/selinux/config将SELINUX=enforcing改为SELINUX=disabled临时关闭setenforce 0防火墙关闭或者配置防火墙规则syst...
Logstash设置默认template 指定一个默认的映射文件,将其命名未test.json。位于/opt/logstash/config/templates/下。内容大致如下{ "template" : "logstash", "settings" : { "index.number_of_shards" : 2, "number_of_replicas" : 1, "index.refresh_in...