- 博客(44)
- 收藏
- 关注
RSS订阅原创 ES-7.12.0-官网阅读-Index lifecycle actions各action详解
Allocate允许的阶段：warm，cold；更新索引设置以更改允许托管索引分片的节点并更改副本数量。hot阶段不允许进行Allocate操作。索引的初始分配必须手动或通过完成您可以配置此操作以同时修改分配规则和副本数量、仅修改分配规则或仅修改副本数量。查阅，了解有关控制 Elasticsearch 分配特定索引分片的位置的更多信息。
2024-04-03 11:28:17
999
原创 ES-7.12-官网阅读-ILM-index lifecycle actions
随着索引在生命周期中的移动，降低索引的优先级，以确保首先恢复hot index。将follower索引转换为常规索引。删除作为rollover alias的写入索引的索引，并开始索引到新索引。在配置的存储库中拍摄托管索引的快照并将其挂载为可搜索快照。将索引分片移动到与当前 ILM 阶段对应的数据层（将分片移动到具有不同性能特征的节点并减少副本数量。减少索引段的数量并清除已删除的文档。通过将索引收缩为新索引来减少主分片的数量。Freeze索引以最小化其内存占用。阻止对索引的写入操作。删除索引前确保快照存在。
2024-04-02 07:20:54
424
原创 ES-7.12-官网阅读-ILM-自定义内置ILM策略
logs（日志）metrics（指标）syntheticc（合成材料？Elasctic Agent 用这些策略管理其数据流的支持索引（backing indices），这个教程告诉你如何使用kibana的来基于你应用的性能和弹性，以及保存需求来自定义这些策略；
2024-04-02 06:54:35
1205
原创 ES-7.12-官方文档阅读-ILM-Automate rollover
当你持续将带有时间戳的文档index到Elasticsearch当中时，通常会使用数据流（data streams）以便可以定义滚到到新索引。这是你能够实施一个hot-warm-cold架构来满足你的性能要强，控制随时间推移的成本，实施保留策略，并仍然充分利用数据。TIP：数据流最适合仅追加的使用场景，如果你需要频繁更新或删除跨多个索引的现有文档，我们建议改用索引别名和索引模版；你仍然可以使用ILM来管理和滚动别名的索引，跳到管理没有数据流的时间序列数据更多介绍关于rolling indices ，访问。
2024-04-01 14:34:46
881
原创 ES 7.12官网阅读-ILM（index lifecycle management）
可以根据你的性能、弹性、保存时长需求，使用ILM策略来自动管理你的index；比如1. 当一个index达到确定的大小，或者一定数量的documents的时候，启动一个新索引；2. 按照每天、每周、每月创建新index，并归档之前的index；3. 删除过期index来执行数据保留标准；可以通过kibana 管理界面或者ILM 的API来创建和配置ILM策略，当你给Beats或Logstash Elasticsearch的输出插件启用了ILM，默认的策略会自动配置；
2024-03-31 08:48:13
806
原创 k8s-官网阅读-livenness/readiness/startup Probes
如果readinessProbe检测不通过，该pod不会作为service 的endpoint接受流量，处理请求；readinessProbe运作与容器的整个生命周期；exec:command:- cat配置readinessProbe和livenessProbe的方式基本相同；livenessProbe和readinessProbe并行使用，保证当pod执行livenessProbe/readinessProbe执行失败后，不接收流量，处理请求，并且重启容器；
2023-04-25 13:40:24
620
原创 读书笔记-kafka监控指标梳理
UnderReplicatedPartitions： 分区存在失效副本的的个数；在一个运行健康的集群中，处于同步状态的副本数（ISR）应该与总副本数（简称AR：Assigned Replicas）完全相等，如果分区的副本远远落后于leader，那这个follower将被ISR池删除，由于kafka的高可用性必须通过副本来满足，所以在有必要重点关注这个指标，让他长期处于0的状态。ActiveControllerCount：表示当前bro
2022-03-28 17:49:30
4228
2
原创 读书笔记-kafka 基本概念
Producer Consumer Broker Topic Partition Replica Offset AR ISR OSR HW LEO
2022-03-25 15:43:37
2866
原创 读书笔记-kafka常用操作命令-kafka-topics.sh
1. 创建topicbin/kafka-topics.sh --zookeeper localhost:2181/kafka --create --topic topic-create --partitions 4 --replication-factor 2返回结果：Created topic "topic-create".参数解析--zookeeper 指定kafka所连接的zookeeper服务地址--topic 指定所要创建主题的名称--replicator-factor
2022-03-23 14:41:32
4158
原创 实践-confluence用户同步问题
ldap用户无异常但是在confluence里面同步不了用户，观察日志发现同步用户有1000个用户的限制https://confluence.atlassian.com/crowdkb/missing-groups-from-crowd-and-or-embedded-crowd-due-to-1000-users-groups-limit-1019380552.html...
2021-09-02 19:58:13
617
原创 实践--nginx post rewrite配置
今天接到了一个需求，将钉钉机器人通过内网域名做rewite配置，本来以为就是简单的rewrite。但是通过curl 怎么配置都是没有返回的。打开rewrite log ，也看到了rewrite的地址，以及参数是没有问题的。没有发现任何异常。之后用postman做测试的时候：提示：请用post方法请求。我明明是用的post请求的。为啥还提示这个。网上搜了一些资料。说post情况经过rewrite后，会变成get，请求体和请求参数都会被丢弃。然后就又找了一些资料，找到了一个return 307的文档。具
2021-07-29 22:03:53
1111
原创 读书笔记-K8S之Scheduleer原理解析
K8S Scheduler在整个系统中承担了"承上启下"的重要功能，”承上“是指它负责接收Controller Manager创建的新Pod，为其安排一个落脚的”家“ -- 目标Node；”启下“是指安置工作完成后，目标Node上的kubelet服务进程接管后继工作，负责Pod生命周期中的”下半生“。具体来说，K8S Scheduler的作用是将待调度的Pod(API新创建的Pod、Controller Manager为补足副本儿创建的Pod等）按照...
2021-07-27 13:40:22
486
原创 实践--Ubuntu 搭建SFTP服务
1.查看是否安装了所需软件# dpkg --get-selections |grep sshopenssh-client installopenssh-server installopenssh-sftp-server installssh install2.新建用户组，以及sftp用户addgroup sftp-users# 指定用户组为sftp-users,禁止sftp用户登录shell,创建sftp用户的家目录/data/sftpuserad
2021-07-19 13:13:36
369
原创 实践-ansible playbook变量传递
1.在命令行传递变量，较灵活。ansible-playbook -e "host=dev user=root" vars.yaml---- name: var test hosts: "{{ host }}" tasks: - name: var test debug: msg: "Hello {{ user }}"2.可以将变量写在inventoryansible-playbook -e "host=dev" vars.yamli
2021-07-16 09:53:34
179
原创 saltstack jinja 配置总结
一. jinja语法简介1.定义变量{% set var = 'value' %}2.引用变量{{ VAR_NAME }}3.if条件判断{% if 条件 %}语句块{% elif 条件%}语句块{% else %}语句块{% endif %}二. 案例总结案例1：同步zabbix-agent的配置文件，根据主机名分配不同的zabbix-serversls文件内容zabbix_pkg: pkg.installed: ..
2021-07-14 15:59:38
144
原创 ubuntu/centos创建用户，sudo免密
ubuntu创建用户useradd test_user# useradd -hUsage: useradd [options] LOGIN useradd -D useradd -D [options]Options: -b, --base-dir BASE_DIR base directory for the home directory of the new account -...
2021-07-12 16:25:47
202
原创 读书笔记--collectd监控指标详解
参考文档：https://docs.signalfx.com/en/latest/integrations/agent/monitors/index.html
2021-07-02 15:21:17
275
原创 读书笔记-nginx.conf配置文件中相关指令、指令集解读
http://nginx.org/en/docs/ngx_core_module.htmlmain 配置worker_processes: 定义woker进程的的数量，默认值是1，auto为自动探测cpu个数； worker_cpu_affinity：通过cpu的位掩码与每个worker进程绑定，auto为自动绑定； error_log: 定义错误日志文件以及错误日志文件的基本，默认值是 logs/error.log error;日志级别有debug,info,notice,warn,error
2021-06-29 16:09:24
100
原创 实践-confluence 502 问题处理
背景：最近公司的confluence 在上班前的一段时间一直都无法访问。一般都是重启解决，但是总是出现这样的问题，总重启就不太好，不符合SRE的方法论，所以开始查日志里面的具体报错原因。排查：查看日志：2021-06-09 01:07:36,202 ERROR [Caesium-1-4] [scheduler.caesium.impl.SchedulerQueueWorker] executeJob Unhandled exception thrown by job QueuedJob[j
2021-06-10 17:32:12
930
1
原创 读书笔记-11-用Nginx搭建一个可用的静态资源Web服务器
https://time.geekbang.org/course/detail/100020301-65072?utm_source=pinpaizhuanqu&utm_medium=geektime&utm_campaign=guanwang&utm_term=guanwang&utm_content=0511目录配置一个静态资源访问nginx gzip模块详解nginx autoindex模块配置一个静态资源访问alias和root的区别：ngin
2021-06-09 07:24:22
187
1
原创 读书笔记-10-Nginx命令行及演示：重载、热部署、日志切割
https://time.geekbang.org/course/detail/100020301-65071?utm_source=pinpaizhuanqu&utm_medium=geektime&utm_campaign=guanwang&utm_term=guanwang&utm_content=0511Nginx命令行格式： nginx -s reload 帮助： -？ -h 使用指定的配置文件： -c 指定配置指令： -g 指定运行目录： -p
2021-06-08 19:50:22
120
原创 读书笔记-09-Nginx配置文件的通用语法介绍
https://time.geekbang.org/course/detail/100020301-65070?utm_source=pinpaizhuanqu&utm_medium=geektime&utm_campaign=guanwang&utm_term=guanwang&utm_content=0511Nginx配置语法配置文件由指令与指令块构成 每条指令以；分号结尾，指令与参数间以空格符号分隔 指令块以{}大括号将多条指令组织在一起 include语
2021-06-08 19:25:30
93
原创 读书笔记-k8s之亲和性调度
亲和性调度功能包括节点亲和性（NodeAffinity)和Pod亲和性（PodAffinity）两个维度的设置。NodeAffinity：Node亲和性调度NodeAffinity意为Node亲和性的调度策略，是用于替换NodeSelector的全新调度策略，目前有两种节点亲和性表达。RequireDuringSchedulingIgnoredDuringExecution：必须满足指定的规则才可以调度Pod到Node上（功能与NodeSelector很像，但是使用的是不同的语法），相当于硬限制
2021-06-05 21:19:44
2155
1
原创 实践-根据request_uri判断return 403
背景：ddos通过特定参数访问/?xxxx，造成流量过大，导致后端sever 产生大量的close_wait。通过日志分析，发现有一些特定的/?xxxx。所以根据/?xxxx。判断返回403
2021-06-04 19:34:59
567
原创 实践-k8s之Pod反亲和性配置
背景：某个deployment有9个pod，但是k8s调度到了两个节点上，导致改节点报：NodeCPUUsageExceed
2021-06-04 17:11:25
1956
原创 实践-jira 报错处理
1Duplicate entry 0 for key PRIMARY exceptions during plugin update
2021-06-04 16:44:18
661
原创 读书笔记-LVS之ipvsadm用法
基础环境准备1.是否加载响应的模块ip_vs，如果没有加载，需要加载。如果是lxc虚拟机的话。需要宿主机加载相应的模块# 列举系统已经加载的模块，并查找ip_vs# lsmod | grep ip_vs# 加载 ip_vs模块# modprobe ip_vs# modprobe ip_vs_wlc# lsmod | grep ip_vsip_vs_wlc 16384 0ip_vs 147456 2 ip_vs_wlc
2021-06-03 21:52:45
1579
2
原创 读书笔记-LVS简介、工作模式介绍
LVS负载均衡简介LVS（Linux Virtual Server）即Linux虚拟服务器，目前LVS已经被集成到Linuxnw'he'mo'kk
2021-06-03 09:57:25
261
1
原创 读书笔记-keepalived的高可用
参考文档：https://weread.qq.com/web/reader/ea732b705c6eeaea7febb5ek37132b503160371bce7de3eKeepalived软件主要是通过VRRP协议实现高可用功能；Keepalived除了能够管理LVS软件外，还可以作为其他服务（例如：nginx、haproxy、Mysql等）的高可用解决方案。VRRP是Virtual Router Redundancy Protocol（虚拟路由冗余协议），它出现的目的就是为了解决静态路由单点故
2021-05-28 14:52:51
267
原创 读书笔记-Pod资源需求和资源限制（requests、limits）
Pod的请求的资源和限制，指的是CPU和内存，目前在k8s上仅有的受支持的两种类型。CPU属于可压缩（compressible）型资源，即资源额度可按需收缩。内存则是不可压缩型资源，对其执行收缩操作可能会导致某种程度的问题。资源隔离尚且属于容器级别，CPU和内存资源的配置需要在Pod中的容器上运行；requests 定义其请求的确保可用值，即容器运行可能用不到这些额度的资源，但用到时必须要确保有如此多的资源可用；limits 用于限制资源可用的最大值，即硬限制。容器资源需...
2021-05-26 21:55:52
2083
原创 Nginx配置四层代理
注意事项：stream是和http同级的。stream { upstream back{ server 172.16.12.1:22; } server { listen 8080; proxy_connect_timeout 5s; proxy_timeout 300s; pro...
2021-05-26 19:15:12
549
原创 读书笔记-Pod生命周期中的重要行为（init container、postStart、preStop）
1、初始化容器初始化容器（init container) 即应用程序的主容器启动之前要运行的容器，常用于为主容器执行一些预置操作，他们具有两种典型特征。1）初始化容器必须运行完成直至结束。若初始化容器运行失败，那么Kubernetes需要重启它知道成功完成。2）每个初始化容器都必须按定义的顺序串行运行。注意：如果Pod的spec.restartPolicy字段值为”Never“，那么运行失败的初始化容器不会被重启。初始化容器的典型应用需求具体如下几种：1）用于运行特定的工具程序，处于
2021-05-26 09:22:04
598
原创 ssh设置多端口登录
业务场景：服务器为第三方服务器，双方都要登录服务器，所以需要ssh监听一个22和一个其他端口修改配置如下：echo "Port 6666" >> /etc/ssh/sshd_config/etc/init.d/ssh restart然后通过ssh 命令通过-p参数指定端口，ssh 10.10.10.10 -p 6666 即可使用6666端口连接目标服务器（10.10.10.10）...
2021-05-25 17:25:34
2120
原创 读书笔记-Pod健康检查和服务可用性检查
kubelet通过定期执行LivenessProbe和ReadinessProbe这两类探针来诊断容器的健康状况1、LivenessProbe探针：用于判断容器是否存活（Running状态），如果LivenessProbe探针探测到容器不健康，则kubelet将杀掉该容器，并根据容器的重启策略做相应的处理。如果一个容器不包含LivenessProbe探针，那么kubelet认为改容器的LivenessProbe探针返回的值永远是Success。2、ReadinessProbe探针：用于判断容器服务实
2021-05-25 06:33:02
142
原创 读书笔记-Pod生命周期、重启策略、创建过程和终止过程
Pod生命周期Pod的状态 状态值 描述 Pending API Server已经创建该Pod，但在Pod内还有一个或多个容器的镜像没有创建，包括正在下载镜像的过程 Running Pod内所有容器均已创建，且至少有一个容器处于运行状态、正在启动状态或正在重启状态 Succeeded Pod内所有容器均成功执行后退出，且不会在重启 Failed Pod内所有容器均已退出，但至少有一个容器退出为失败状态 Unknown 由于某种原因无法获取该...
2021-05-24 22:51:10
538
原创 读书笔记-Nginx常用模块介绍
官网：http://nginx.org/en/docs常用Nginx http功能模块汇总 Nginx http功能模块 模块说明 ngx_http_core_module 包括一些核心的http参数配置，对应Nginx的配置为HTTP区块部分 ngx_http_access_module 访问控制模块，用来控制网站用户对Nginx的访问 ngx_http_gzip_module 压缩模块，对Nginx返回的数据压缩，属于性能优化模块 ngx_http_fast
2021-05-24 07:15:12
177
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人