currs-CSDN博客

原创 zabbix分布式系统监控

前言作为一名运维人员，我们需要学会使用监控系统来查看服务器状态以及网站流量指标，利用监控系统的数据来了解上线发布的结果，和网站的健康状态。利用一个优秀的监控软件，我们可以：通过一环友好的界面进行浏览整个网站所有的服务器状态可以在Web 前端方便的查看监控数据可以回溯寻找事故发生时系统的问题和报警情况今天，向大家介绍一款企业级的、开源的网络监控系统解决方案------zabbix一、zabbix介绍1.1 zabbix是什么zabbix是一个基于Web界面的提供分布式系统监视以及网络监视功能的企业

2022-07-05 22:15:43 281 1

原创【分布式应用】消息队列之卡夫卡 + EFLFK集群部署

pache公司的软件包官方下载地址：archive.apache.org/dist/官方下载地址：archive.apache.org/dist/zookee…Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。也就是说

2022-07-05 21:55:46 358

原创【分布式应用】ELFK集群部署与Logstash的过滤模块

ELFK= ES + logstash+filebeat+kibana实验环境注意：ELFK各安装包的版本要一致，或相近。ELK集群的部署在前一篇文章中有详细介绍，可参考前一篇文章。注意：ELFK集群环境下，Logstash 组件所在节点的/etc/logstash/conf.d目录下，不需要创建system.conf配置文件，即Logstash不需要收集系统日志，因为系统日志将由filebeat收集后发送给Logstash。（安装filebeat后，Logstash会创建filebeat.conf配置文件

2022-07-05 09:24:53 210

原创【分布式应用】ELK企业级日志分析系统

ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。转存失败重新上传取消filebeat 结合 logstash 带来好处：ELK： ES+logstash+kibanaELFK： ES+logstash+filebeat+kibanaELFK： ES+filebeat+logstash+kafka+kibana日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可

2022-07-05 09:19:27 142

原创【分布式应用】GFS分布式文件系统

文件系统：用于存储和管理文件的相关系统。分布式存储优点：GlusterFS是一个开源的分布式文件系统。由存储服务器、客户端以及NFS/Samba存储网关（可选，根据需要选择使用）组成。没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。MFS（传统的分布式文件系统技术）GlusterFS：GlusterFS同时也是Scale-Out（横向扩展）存储解决方案Gluster的核心，在存储数据方面具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS支持借助 TC

2022-07-05 09:09:34 126

原创 rsync远程同步

rsync（Remote Sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。rsync 的官方站点的网址是 rsync.samba.org/，目前最新版本是 3.1.3，由 Wayne Davison 进行维护。作为一种最常用的文件备份工具，rsync 往往是 Linux 和 UNIX 系统默认安装的基本组件之一。支持拷贝特殊文件，如连接文件、设备等。可以有排除

2022-07-05 08:55:16 87

原创【云原生Docker篇】Docker Cgroups资源控制管理

cgroups，是一个非常强大的linux内核工具，他不仅可以限制被namespace 隔离起来的资源，还可以为资源设置权重、计算使用量、操控进程启停等等。所以cgroups (Control groups) 实现了对资源的配额和度量。时间片即CPU分配给各个程序的时间，每个线程被分配一个时间段，称作它的时间片，即该进程允许运行的时间，使各个程序从表面上看是同时进行的。如果在时间片结束时进程还在运行，则CPU将被剥夺并分配给另一个进程。如果进程在时间片结束前阻塞或结束，则CPU当即进行切换。而不会造成CP

2022-07-05 08:47:59 345

原创【云原生Docker篇】Docker的容器管理操作

容器创建：就是将镜像加载到容器的过程。创建容器时如果没有指定容器名称，系统会自动创建一个名称。新创建的容器默认处于停止状态，不运行任何程序，需要在其中发起一个进程来启动容器。docker create创建的容器并未实际启动，还需要执行docker start命令或docker run命令以启动容器。常用选项： 2、查看容器的运行状态示例： 3、启动容器4、创建并启动容器可以直接执行docker run命令，等同于先执行docker create 命令，再执行docker

2022-07-05 08:37:51 699

原创安装docker

目前 Docker 只能支持 64 位系统。Yum安装默认安装最新版本，目前最新版本是2020版本。但工作中不会用这么新的版本，前一个版本是2019版本。 2.2 查看Docker信息三、Docker的镜像管理命令 3.2 获取镜像（下载镜像） 3.3 镜像加速下载 3.4 删除镜像注意：如果该镜像已经被容器使用，正确的做法是先删除依赖该镜像的所有容器，再去删除镜像。 3.5 批量删除镜像3.9 存出镜像：将镜像保存成为本地文件将镜像保存成为本地文件，

2022-07-04 17:31:37 70

原创 Redis高可用之主从复制、哨兵、cluster集群

在web服务器中，高可用是指服务器可以正常访问的时间，衡量的标准是在多长时间内可以提供正常服务(99.9%、99.99%、99.999%等等)。但是在Redis语境中，高可用的含义似乎要宽泛一些，除了保证提供正常服务（如主从分离、快速容灾技术），还需要考虑数据容量的扩展、数据安全不会丢失等。在Redis中，实现高可用的技术主要包括持久化、主从复制、哨兵和cluster集群，下面分别说明它们的作用，以及解决了什么样的问题。持久化：持久化是最简单的高可用方法（有时甚至不被归为高可用的手段），主要作用是数据备份

2022-06-28 01:03:15 207

原创 Redis 高可用之持久化

在web服务器中，高可用是指服务器可以正常访问的时间，衡量的标准是在多长时间内可以提供正常服务(99.9%、99.99%、99.999%等等)。但是在Redis语境中，高可用的含义似乎要宽泛一些，除了保证提供正常服务( 如主从分离、快速容灾技术)，还需要考虑数据容量的扩展、数据安全不会丢失等。在Redis中，实现高可用的技术主要包括持久化、主从复制、哨兵和cluster集群，下面分别说明它们的作用，以及解决了什么样的问题。持久化：持久化是最简单的高可用方法（有时甚至不被归为高可用的手段），主要作用是数据备

2022-06-27 23:54:19 97

原创数据库缓存服务——NoSQL之Redis配置与优化

缓存是为了调节速度不一致的两个或多个不同的物质的速度，在中间对速度较慢的一方起到加速作用，比如CPU的一级、二级缓存是保存了CPU最近经常访问的数据，内存是保存CPU经常访问硬盘的数据，而且硬盘也有大小不一的缓存，甚至是物理服务器的raid 卡有也缓存，都是为了起到加速CPU 访问硬盘数据的目的，因为CPU的速度太快了，CPU需要的数据由于硬盘往往不能在短时间内满足CPU的需求，因此CPU缓存、内存、Raid 卡缓存以及硬盘缓存就在一定程度上满足了CPU的数据需求，即CPU 从缓存读取数据可以大幅提高CPU

2022-06-27 16:58:25 220

原创 docker基本管理

1.docker理论1.1docker是什么？Dcoker是基于容器技术的轻量级虛拟化解决方案，docker是由容器引擎，把linux的cgroup、namespaces等容器底层技术进行完美的封装、并抽象为用户提供创建和管理容器的便捷界面(命令行Cli、api等) C/S1.2docker的使用场景流程：war jar------>Igithub gitlab私有仓库(代码仓库)----> jenkins ( 测试)(应用程序封装/构建镜像)一》运维使用镜像下载，使用容器技术进行运行/发布可以

2022-06-24 15:18:33 363

原创 nginx防盗链

Ngnix优化主要有两种，一种是配置上的优化，一种是内核上的优化。本文将介绍Ngnix在配置方面的优化。实验准备：已安装好一台Nginx服务器，IP：192.168.192.10，域名：www.zzqhaoshuai.com一、隐藏响应头中的版本号1.1 查看版本号的方法方法一：curl命令可以在CentOS中使用命令curl -l www.zzqhaoshuai.com显示响应报文首部信息此方法可以将原本的版本号修改成其他的，例如将"nginx/1.12.0"修改成 “nginx/1.1.1"

2022-06-20 07:08:05 315

原创 MySQL高可用之MHA集群

MHA（MasterHigh Availability）是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。MHA 的出现就是解决MySQL 单点故障的问题。MySQL故障切换过程中，MHA能做到0-30秒内自动完成故障切换操作。MHA能在故障切换的过程中最大程度上保证数据的一致性，以达到真正意义上的高可用。1）MHA Node（数据节点）2）MHA Manager（管理节点） 1）MHA架构：①数据库安装 ②一主两从 ③MHA搭建2）故障模拟：①主库失效 ②备选主库成为主库 ③原故障主库恢复重新加

2022-06-20 04:50:24 198

原创 MySQL 主从复制与读写分离

读写分离，基本的原理是让主数据库处理事务性增、改、删操作( INSERT、UPDATE、DELETE) ，而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。因为数据库的“写”（写10000条数据可能要3分钟）操作是比较耗时的。但是数据库的“读”（读10000条数据可能只要5秒钟）；所以读写分离，解决的是，数据库的写入，影响了查询的效率。数据库不一定要读写分离，如果程序使用数据库较多时，而更新少，查询多的情况下会考虑使用。利用数据库主从同步，再通过读写分离可以分

2022-06-20 04:29:37 479

原创 MySQL数据库的备份与恢复

备份的主要目的是灾难恢复。在生产环境中，数据的安全性至关重要。任何数据的丢失都可能产生严重的后果。造成数据丢失的原因：物理备份：对数据库操作系统的物理文件（如数据文件、日志文件等）的备份。物理备份方法：逻辑备份：对数据库逻辑组件（如：表等数据库对象）的备份。三、常见的备份方法物理冷备：（完全备份）专用备份工具mydump或mysqlhotcopy （完全备份，逻辑备份）启用二进制日志进行增量备份（增量备份）第三方工具备份（阿里云的工具：dts，支持热迁移）优点：缺点：先关闭数据库，之后打包备份

2022-06-20 04:15:21 532

原创 MySQL 高级SQL语句（三）——存储过程

存储过程是一组为了完成特定功能的SQL语句集合。存储过程在使用过程中是将常用或者复杂的工作预先使用SQL语句写好并用一个指定的名称存储起来，这个过程经编译和优化后存储在数据库服务器中。当需要使用该存储过程时，只需要调用它即可。存储过程在执行上比传统SQL速度更快、执行效率更高。1、执行一次后，会将生成的二进制代码驻留缓冲区，提高执行效率。2、SQL语句加上控制语句的集合，灵活性高。3、在服务器端存储，客户端调用时，降低网络负载。4、可多次重复被调用，可随时修改，不影响客户端调用。5、可完成所有的数据库操作，

2022-06-20 03:57:22 7043 2

原创 MYSQL 高级SQL语句（二）

MYSQL数据库中的三种连接：注：oracle数据库支持 outer join(外连接)，mysql不支持。1.1 left join（左连接）left join(左连接)：返回包括左表中的所有记录和右表中联结字段相等的记录。 1.2 right join（右连接）right join(右连接)：返回包括右表中的所有记录和左表中联结字段相等的记录。 1.3 inner join（内连接）inner join(内连接)：只返回两个表中联结字段相等的行。示例：设置location表的别名为A

2022-06-20 03:51:15 99

原创 MySQL高级语句（一）

先准备2个表一个location表：一个store_info表：select，显示表格中一个或数个字段的所有数据记录。distinct，不显示重复的数据记录。注意：关系型数据库，单次只能对一个字段去重。where，有条件查询。and：且。or：或。示例：in，显示已知的值的数据记录。示例：between，显示两个值范围内的数据记录。示例：通配符一般都是跟 like 一起使用的。示例：1.8 likelike，匹配一个模式来找出

2022-06-20 03:31:22 586

原创 MySQL数据库之日志管理

MySQL的日志默认保存在数据库文件的存储目录（一般为/usr/local/mysql/data/）。也可以修改配置文件，自定义日志文件的保存位置。我这里在编译安装时，数据库文件存储目录设置的是/home/mysql。错误日志，用来记录当MySQL启动、停止或运行时发生的错误信息，默认已开启。通用查询日志，用来记录MySQL的所有连接和语句，默认是关闭的。1.3 二进制日志二进制日志(binlog)，用来记录所有更新了数据或者已经潜在更新了数据的语句，记录了数据的更改，可用于数据恢复，默认已开启。

2022-06-20 02:58:39 6014

原创配置nginx服务

一、Nginx概述1.1 Nginx概述Nginx:Nginx 是开源、高性能、高可靠的 Web 和反向代理服务器，而且支持热部署，几乎可以做到 7 * 24 小时不间断运行，即使运行几个月也不需要重新启动，还能在不间断服务的情况下对软件版本进行热更新。对HTTP并发连接的处理能力高，单台物理服务器可支持30000~50000个并发请求。ApacheApache是以进程为基础的结构，进程要比线程消耗更多的系统开支，不太适用于多处理器环境，因此，在一个apache Web站点扩容时，通常是增加服务器或扩充

2022-06-20 00:40:07 551

原创 keepalived

企业应用中，单台服务器承担应用存在单点故障的危险。单点故障一旦发生，企业服务将发生中断，造成极大的危害。 1.2 Keepalived工具介绍Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。Keepalived是专为LVS和HA设计的一款健康检查工具：支持故障自动切换（Failover）支持节点健康状态检查（Health Checking）判断LVS负载调度器、节点服务器的可用性，当master主机出现故障及时切换到backup节点保证业务

2022-06-20 00:23:20 862

原创 Haproxy负载均衡集群

一、常见的Web集群调度器目前常见的Web集群调度器分为软件和硬件：软件通常使用开源的LVS、Haproxy、 NginxLVS性能最好，但是搭建相对复杂；Nginx 的upstream模块支持群集功能，但是对群集节点健康检查功能不强，高并发性能没有Haproxy好。硬件一般使用比较多的是F5、Array，也有很多人使用国内的一些产品，如梭子鱼、绿盟等硬件的效果比软件好，更加稳定，但管理成本高。二、Haproxy 应用分析LVS在企业应用中抗负载能力很强，但存在不足LVS不支持正则处理，不能实现动静分离

2022-06-19 18:39:49 105

原创 mysql存储引擎

存储引擎概念介绍：1.mysql中的数据用各种不同的技术存储在文件中，每一种技术都使用不同的存储机制，索引技巧，锁定水平并最终提供不同的功能和能力，这些不同的技术以及配套的功能在mysql中称为存储引擎2.存储引擎是mysql将数据存储在文件系统中的存储方式或者存储格式3.mysql常用的存储引擎：mylsam innodb4.mysql数据库中的组件，负责执行实际的数据i/o操作5.mysql系统中，存储引擎处于文件系统之上，在数据保存到数据文件之前会传输到存储引擎，之后按照各个存储引擎的存储格式进行存储

2022-06-13 23:42:02 66

原创 lvs负载均衡 DR模式

LVS负载均衡之DR模式一、LVS-DR数据包流量分析客户端向目标VIP发送请求，负载均衡器接收负载均衡器根据负载均衡算法选择后端真实服务器，不修改也不封装IP报文，而是将数据帧的MAC地址改为后端真实服务器的MAC地址，然后在局域网上发送后端真实服务器收到这个帧，解封装后发现目标IP与本机匹配（事先绑定了VIP），于是处理这个报文。随后重新封装报文，将响应报文通过lo接口传送给物理网卡然后向外发出客户端将收到回复报文。客户端认为得到正常的服务，而不会知道是哪一台服务器处理的如果跨网段，则报文通过路由器

2022-06-13 23:35:37 116

原创 LVS负载均衡群集

1、负载均衡群集（1）群集的概述■根据群集所针对的目标差异，可分为三种类型●负载均衡群集●高可用群集●高性能运算群集■负载均衡群集（load balance cluster）●提高医用系统的响应能力、尽可能处理更多的访问请求、减少延迟目标，获得高并发、高负载（LB）的整体性能●LB的负载分配依赖于主节点的分流算法2）负载均衡群集结构（3）负载均衡群集三种工作模式■地址转换（NAT地址映射）■IP隧道（隧道式叠加网络特殊场景下才会使用）■直接路由（DR）LVS-NAT模式结构图LVS-NAT模式简单

2022-06-13 17:25:42 170

原创 mysql 事务

事务的概念是一种机制，一个操作序列，包含了一组数据库操作命令，并把所有的命令作为一个整体一起向系统提交或撤销操作请求，即这一组数据库要么都执行，要么都不执行是一个不可分割的工作逻辑单元，在数据库系统上执行并发操作时，事务是最小的控制单元适用于多用户同时操作的数据库系统的场景，如银行，保险公司及证券交易系统等等通过事务的整体性以保证数据的一致性事务的ACID特点ACID，是指在可靠数据库管理系统（DBMS）中，事务(transaction)应该具有的四个特性：原子性（Atomicity）、一致性（Consi

2022-06-07 19:26:20 30

空空如也

空空如也