- 博客(99)
- 收藏
- 关注
RSS订阅
原创 运维工程师的出路：闪耀技术发展道路
运维工程师的出路并不在于年龄，而在于持续学习和适应行业的能力。通过不断提升自己的技术水平、拓展职业领域、积累经验，运维工程师将能够在技术发展的道路上持续闪耀光芒。半衰期只是一个阶段，而真正的关键在于如何积极面对变化，找到适合自己的职业发展路径。不论是云计算、物联网还是人工智能，运维人员都将在这个充满挑战和机遇的时代中，迎来更广阔的职业发展空间。
2024-01-05 17:57:53
483
原创 k8s资源配额限制
KiB与MiB是以二进制表示的字节单位，常见的KB与MB则是以十进制表示的字节单位，比如： 1 KB=1000 Bytes=8000Bits；k8s管理员为每个命名空间创建一个或多个ResourceQuota对象，定义资源使用总量，K8s会跟踪命名空间资源使用情况，当超过定义的资源配额会返回拒绝。如果在集群中新添加了节点，资源配额不会自动更新，该资源配额所对应的命名空间中的对象也不能自动增加资源上限。国际单位制包括十进制的E、P、T、G、M、K、m，或二进制的Ei、Pi、Ti、Gi、Mi、Ki。
2023-07-10 10:18:16
656
原创 Mongodb配置文件详解
Mongodb配置文件YAML格式systemLog: destination: file #Mongodb 日志输出的目的地，指定一个 file 或者 syslog，如果指定 file，必须指定 systemlog.path logAppend: true #当实例重启时，不创建新的日志文件，在老的日志文件末尾继续添加 path: /data/mongod/logs/mongod.log #日志路径storage: dbPath: /data/mongod/data
2021-02-02 10:06:22
540
1
原创 kubeadm 搭建Kubernetes 1.18集群
kubeadm要求最低配置2c2g，高可用集群一般建议大于等于3台的奇数台,我使用3台master来做高可用。这里也简单说了一下k8s 1.18的新特性，如果只是测试搭建可以考虑1.18，目前这个版本比较新，建议生产环境还是不要使用这么高的版本Kubernetes 1.18新特性将Service Account Token 作为通用身份验证方法为特定Pod配置HPA速率在集群级别定义偶数Pod扩展规则在Windows上支持Containerd 1.3在同一集群中支持RuntimeClass.
2020-12-09 14:31:17
750
原创 单节点Elasticsearch健康状态为 yellow
项目环境中，有一个不重要的辅助功能用到了 Elasticsearch，给的服务器资源有限，只能部署一个单机 Elasticsearch。刚部署完成时，health 状态为正常的 green，但是过了几天后，在查看 Elasticsearch 的 health，已经变为 yellow ：[root@web-01 ~]# curl -X GET "192.168.0.229:9200/_cluster/health?pretty"{ "cluster_name" : "yxfes", "status
2020-11-13 15:25:09
3477
原创 动态修改进程最大文件打开数
1、前言有些生产环境的服务不能随便重启，最大文件打开数受到限制。本文利用Prlimit动态修改正在运行进程最大文件打开数。本文以修改nginx最大文件打开数为例。2、实践# 当前系统最大文件打开数[root@vm-CentOS750221 ~]# ulimit -a|grep openopen files (-n) 2048# 查看nginx的PID[root@vm-CentOS750221 ~]# ps -ef|grep nginxnob
2020-09-04 17:57:10
1007
原创 Kafka监控工具Kafka Eagle
1、简介Kafka Eagle是一款用于监控和管理Apache Kafka的完全开源系统，目前托管在Github，由笔者和一些开源爱好者共同维护。它提供了完善的管理页面，很方面的去管理和可视化Kafka集群的一些信息，例如Broker详情、性能指标趋势、Topic集合、消费者信息等。功能介绍Kafka Eagle监控管理系统，提供了一个可视化页面，使用者可以拥有不同的角色，例如管理员、开发者、游客等。不同的角色对应不同的使用权限。1.展示Kafka集群的Broker数、Topic数、C
2020-09-04 10:42:11
1373
1
原创 ES安全漏洞解决
1、前言ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。Elasticsearch的增删改查操作全部由http接口完成。由于Elasticsearch授权模块需要付费，所以免费开源的Elasticsearch可能存在未授权访问漏洞。Elasticsearch服务普遍存在一个未授权访问的问题，攻击者通
2020-09-03 17:57:16
5623
1
转载 ELK日志写不进去处理
1，前言将要放假前夕，一个同事过来说，某某日志在kafka里边不消费了，我一开始没在意，去kafka的监控一看，果然是堆积了不少。这个时候首先检查了一波logstash的情况，因为日常变更也就它了，其他组件一般都是没人调整的，但是看了一圈，好像这个时间点也没人做变更，只是在日志里看到一些索引在与某处建联的时候有拒绝的情况。此时想着去看看kafka集群，是不是有什么问题呢，可是从kafka自身日志当中看了一圈，并没有发现任何异常信息，况且同时段情况下，另一个日志集群共用这套kafka，还在正常消费，说
2020-09-03 14:44:14
1125
原创 大数据平台架构及主流技术栈
互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据，如何存储？如何计算？各大互联网巨头都进行了探索。Google的三篇论文 GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。在此过程中，无数互联网工程师基于自己的实践，不断完善和丰富Hadoop技术生态。经过十几年的发展，如今的大数据技术生态已相对成熟，围绕大数据应用搭建的平台架构和技术选型也.
2020-07-10 13:34:59
911
原创 KVM 管理工具WebVirtMgr
一、介绍github地址https://github.com/retspen/webvirtmgrWebVirtMgr是一个基于libvirt的Web界面，用于管理虚拟机。它允许您创建和配置新域，并调整域的资源分配。VNC查看器为来宾域提供完整的图形控制台。KVM是目前唯一支持的虚拟机管理程序。IP主机名安装软件192.168.209.133abcdocker-nodeKVM、192.168.209.134abcdocker-kvmKVM、WebVirtMgr、ng
2020-06-29 11:38:15
7392
原创 Oracle修改数据路径
背景：数据库安装在PC服务器的本地硬盘上，数据文件也存放在本地，目前增加了存储设备，需要将数据文件拷贝到存储下，将数据文件路径指定目录存储，具体如下：数据文件现在路径：/opt/oracle/oradata/orcl/数据文件存储路径：/opt/data/oracle/orcl/需要拷贝的数据文件件：dbf,sysaux01.dbf,system01.dbf,temp01.dbf,undotbs01.dbf,users01.dbf话不多具体看操作1、挂载存储目录mount /dev/sd.
2020-06-12 10:22:12
776
原创 Haproxy
1. HAProxy是什么官网: https://www.haproxy.org/HAProxy是一个免费的负载均衡软件，可以运行于大部分主流的Linux操作系统上。HAProxy提供了L4(TCP)和L7(HTTP)两种负载均衡能力，具备丰富的功能。HAProxy的社区非常活跃，版本更新快速（最新稳定版1.7.2于2017/01/13推出）。最关键的是，HAProxy具备媲美商用负载...
2020-03-11 15:07:30
906
原创 Prometheus
1. 对比Zabbix相对于zabbix更加灵活,模块间比较解耦,方便使用,不需要安装zabbix客户端通过脚本采集数据库数据、日志文件等。而Prometheus客户端分为不同语言的SDK和不同用途的exporter，比如监控机器状态、mysql性能等，可以直接使用exporter，通过http对服务端提供信息（server去pull信息）;如果监控自己的业务状态，可以直接使用官方的sdk，...
2020-02-18 11:20:13
339
原创 gitlab和jenkins自动化代码上线
1. 介绍什么是持续集成?经常频繁的代码合并， 持续集成跟运维有关的工作，提供一个代码仓库，版本控制系统（备份，迁移）什么是持续交付?开发团队---测试团队---运维上线开发团对，单元测试，---测试-- 代码质量检测--- 测试， sonarqube什么是持续部署?频繁的代码上线，持续部署2. 持续集成什么是版本控制系统每一次提交或修改都看作是一个版本版本控制系统解...
2020-01-03 20:01:21
772
原创 K8s
1:k8s集群的安装1.1 k8s的架构除了核心组件，还有一些推荐的Add-ons：组件名称说明kube-dns负责为整个集群提供DNS服务Ingress Controller为服务提供外网入口Heapster提供资源监控Dashboard提供GUIFederation提供跨可用区的集群Fluentd-elasticsearch...
2019-12-25 20:35:30
923
原创 docker
1.什么是容器容器是隔离的环境中运行的一个进程,如果进程结束,容器就会停止,容器的隔离环境,拥有自己的ip地址,系统文件,主机名,进程管理程序: 代码,软件,命令进程:正在运行的程序2:容器和虚拟机的区别虚拟机: 硬件cpu支持(vt虚拟化),模拟计算硬件,走正常的开机启动bios开机自检–根据bios启动项–读取硬盘第一个扇区grub,uefi, centos7, 加载内核,启动...
2019-12-21 13:36:52
731
原创 KVM虚拟化
1. 什么是云计算？云计算是一种按量付费的模式！云计算的底层是通过虚拟化技术来实现的！2. 云计算的服务类型IAAS 基础设施即服务 虚拟机 ecs openstackPAAS 平台即服务 php，java docker容器SAAS 软件即服务 企业邮箱服务 cdn服务 rds数据库 开发+运维3. 为什么要用云计算小公司：10台 20w+ idc 5w + 100M 10...
2019-12-16 20:09:41
349
原创 GoAccess日志分析
1. 介绍官方地址: https://goaccess.io/GoAccess是一个交互式实时Web服务器日志分析器程序，可以快速分析和查看Web服务器日志。它是开源的，并且在Unix / Linux操作系统中作为命令行运行。它为Linux管理员提供了简短而有益的HTTP（Web服务器）统计报告。它还处理Apache和Ngnix Web服务器日志格式。GoAccess在首选选项中解析和...
2019-12-14 14:28:24
456
原创 nginx平滑升级
1. 环境说明当前服务器中正在运行Nginx服务，现想将当前运行的Nginx服务的版本经行升级，(从1.6升级到1.8,版本的跨度不要太大，容易造成服务的崩溃)，且在服务不停止的前提下经行升级。2. 实现原理1.在不停掉老进程的情况下，启动新进程。2.老进程负责处理仍然没有处理完的请求，但不再接受处理请求。3.新进程接受新请求。4.老进程处理完所有请求，关闭所有连接后，停止。3....
2019-12-14 10:36:36
76
原创 Nginx Uwsgi 代理Python
1.Nginx+Uwsgi+Django 项目整体架构图2.Uwsgi代理配置场景步骤一、安装python3的环境步骤二、安装Django框架、Uwsgi步骤三、单独测试Django与Uwsgi是否正常步骤四、配置项目，使用项目以Uwsgi方式启动步骤五、配置Nginx反向代理Uwsgi1.环境准备0.安装依赖软件包yum install libffi-devel ope...
2019-12-12 21:04:10
232
原创 ELK
1. 日志分析需求ELK简介E: elasticsearch 存储数据 javaL: logstash 收集,过滤,转发,匹配 javaK: kibana 过滤,分析,图形展示 javaF: filebeat 收集日志,过滤 goELK原理图传统日志分析需求1.找出访问网站频次最高的IP排名前十2.找出访问网站排名前十的URL3.找出中午...
2019-12-05 14:53:15
210
原创 Elasticsearch
1. 介绍什么是全文检索和Lucene?基于java环境,基于Lucene之上包装一层外壳Lucene是一个java的搜索引擎库,操作非常繁琐应用场景1.搜索: 电商,百科2.高亮显示: github 3.分析和数据挖掘: ELk 2. 安装部署1.下载软件mkdir /data/soft上传elasticsearch-6.6.0.rpmjdk-8u102...
2019-12-04 20:51:52
189
原创 Redis
1. redis介绍以及应用场景第一章 关系型与非关系型关系型: mysql oracle非关系型: mongo redis第二章 redis重要特性1.速度快 Redis 所有的数据都存放在内存中 Redis 使用c语言实现 Redis 使用单线程架构2.基于键值对的数据结构服务器5种数据结构:字符串,哈希,列表,集合,有序集合3.丰富的功能提供了键...
2019-12-02 18:39:13
197
原创 Mongodb
第一章 关系型与非关系型NoSQL not only sql NoSQL，指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写是对不同于传统的关系型数据库的数据库管理系统的统称。 对NoSQL最普遍的解释是”非关联型的”，强调Key-Value Stores和文档数据库的优点，而不是单纯的RDBMS。 NoSQL用于超大规模数据的存储。这些类型的数据存储不需要...
2019-11-29 09:24:57
218
原创 第十二章 MySQL优化
1. 优化哲学1.1 为什么优化？为了获得成就感?为了证实比系统设计者更懂数据库?为了从优化成果来证实优化者更有价值?但通常事实证实的结果往往会和您期待相反！优化有风险，涉足需谨慎！1.2 优化风险优化不总是对一个单纯的环境进行！还很可能是一个复杂的已投产的系统。优化手段本来就有很大的风险，只不过你没能力意识到和预见到！任何的技术可以解决一个问题，但必然存在带...
2019-11-28 21:07:58
236
原创 第十一章 MySQL 分布式架构-Mycat
1. Mycat架构图2. MyCAT基础架构准备#### 环境准备：两台虚拟机 db01 db02每台创建四个mysql实例：3307 3308 3309 3310#### 删除历史环境：pkill mysqldrm -rf /data/330* mv /etc/my.cnf /etc/my.cnf.bak#### 创建相关目录初始化数据mkdir /data/33{07....
2019-11-26 20:10:08
162
原创 第十章 MySQL 读写分离-Atlas
1. 简介Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条。下载地址https://github.com/Qihoo360/Atlas/releases...
2019-11-26 19:49:54
97
原创 第九章 MySQL 高可用架构-MHA
1. 企业高可用标准评估全年无故障率指标:3个9 99.9% 0.1%36524*60 = 525.6min(非计划停机时间)4个9 99.99% 0.01% = 52.56min 互联网级别5个9 99.999% 0.001% = 5.256min 金融...
2019-11-23 14:00:49
279
原创 第八章 MySQL 主从复制
1. 介绍通过二进制日志同步数据的工作模式2. 应用场景辅助备份读写分离高可用分布式数据库3. 扩展架构中间件3.1 读写分离Atlas (360)ProxySQL(percona)MaxScale (Mariadb)mysql router3.2 高可用MMM (google)MHA (facebook taobao TMHA )PXC,...
2019-11-21 13:58:53
166
原创 第七章 MySQL 备份恢复
1. 运维在数据库备份恢复方面的职责1.1 设计备份策略(1) 备份什么数据数据部分二进制日志配置文件(2) 什么时间备份低估期(3) 备份周期每周,每天…(4) 备份的方式逻辑备份: mysqldump,binlog物理备份: xtrabackup全备增量热备冷备(5) 备份脚本设计略1.2 备份的检查(1) 日志(2) 备份集的大小和完整性...
2019-11-19 20:21:04
169
原创 第六章 MySQL 日志管理
1. 错误日志作用: 记录启动\关闭\日常运行过程中,状态信息,警告,错误1.2 配置默认就是开启的: /数据路径下/主机名.err手工设定:Master [(none)]>select @@log_error;vim /etc/my.cnflog_error=/var/log/mysql.loglog_timestamps=system重启生效show...
2019-11-19 18:56:52
174
原创 第五章 MySQL 存储引擎
1. 介绍相当于Linux中的文件系统.组织存储数据.2. 存储引擎种类mysql> show engines;InnoDB MyISAM CSVMemory....MariaDB : InnoDB,TokuDB,Myrockspercona : xtraDBTokuDB : 插入性能高,压缩比高Myrocks : 插入性能高,压缩比高3. Inno...
2019-11-18 20:01:50
259
原创 第四章 MySQL 索引及执行计划
1.SQL基础优化-索引及执行计划1.1 什么是索引?相当于一本书中的目录,用来加快查询.1.2 索引算法的演变二叉树 – > 红黑树 – > BTREE – > B+TREE(B*TREE)1.3 MySQL支持的索引类型B+TREE HASH RTREE FullTEXT GIS索引1.5 BTREE查找算法介绍B-TREE B+TREE(B*T...
2019-11-15 20:54:35
170
原创 第三章 MySQL SQL基础应用
1. DDL数据定义语言1.1 库的定义(1) 增CREATE DATABASE luping CHARSET utf8mb4;规范: *****1.字符集必须设置2.不要有大写字母3.不要有数字开头5.库名要和业务有关6.库名不要太长7.库名不能是关键字(2) 删DROP DATABASE LUPING;一般只有管理员有权限删除数据库.(3)...
2019-11-13 21:20:20
275
原创 第二章 MySQL 体系结构与管理
1. 8.0.16二进制安装&& 5.7.26升级到8.0(扩展项)[root@db01 /usr/local]# mv mysql-8.0.16-linux-glibc2.12-x86_64 mysql80[root@db01 /usr/local]# chown -R mysql.mysql mysql80[root@db01 /usr/local]# mkdir -p ...
2019-11-12 20:24:14
170
原创 第一章 MySQL 简介及安装
1. 数据库的介绍关系型数据库RDBMS非关系型NOSQL分布式NEWSQLMySQL分支OracleMongoDBAliSQLOracleMySQLRedisOBMariadbPGESTiDBperconaMSSQLMemcachedRDS,PolarDB,OBGA时间: 5.6.38 5.7.20 20170913...
2019-11-12 09:49:07
175
原创 zabbix监控tomcat
1.1配置JMX#修改tomcat配置文件/usr/local/tomcat/bin/catalina.shCATALINA_OPTS="$CATALINA_OPTS-Dcom.sun.management.jmxremote #启用远程监控JMX-Dcom.sun.management.jmxremote.port=12345 #默认启动的JMX端口号， 要和zabbix添加主机时...
2019-11-12 09:49:01
73
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人