m0_67156403-CSDN博客

原创 Docker cgroups资源控制

Docker是通过 Cgroup ，来控制容器使用的资源配额，包括 CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。Cgroup 是 Control Groups 的缩写，是Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如 CPU、内存、磁盘 IO 等等)的机制，被 LXC、docker 等很多项目用于实现进程资源控制。Cgroup 本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O 或内存的分配控制等具体的资源管理是通过该功能来实现的。这些具体的资

2022-07-11 17:52:04 291 1

原创 Docker数据管理

用户在使用Docker的过程中，往往需要能查看容器内应用产生的数据，或者需要把容器内的数据进行备份，甚至多个容器之间进行数据的共享，这必然涉及容器的数据管理操作。1.数据卷（Data Volumes）2.数据卷容器（Data Volume Dontainers）本文将首先介绍如何在容器内创建数据卷，并且把本地的目录或文件挂载到容器内的数据卷中。接下来，会介绍如何使用数据卷容器在容器和主机、容器和容器之间共享数据，并实现数据的备份和恢复数据卷是一个供容器使用的特殊目录，位于容器中。可将宿主机的目录挂载到数据卷

2022-07-11 17:09:38 195

原创 docker网络

容器网络实质上是由 Docker 为应用程序所创造的虚拟环境的一部分，它能让应用从宿主机操作系统的网络环境中独立出来，形成容器自有的网络设备、IP 协议栈、端口套接字、IP 路由表、防火墙等与网络相关的模块Container Network Model，它是 Docker 网络架构采用的设计规范。只要符合该模型的网络接口就能被用于容器之间通信，而通信的过程和细节可以完全由网络接口来实现。CNM 的网络组成1. Sandbox: 提供容器的虚拟网络栈，即端口套接字，IP路由表、iptables配置，DNS等。

2022-07-11 16:56:14 261 1

原创 Docker简介

一、Docker简介什么是docker？我们先看一下官方文档对docker的定义。翻译一下就是：Docker是一个集开发，发布和运行应用程序的开放平台。Docker能够分离应用和基础架构，从而可以使得用户可以快速交付软件。借助于Docker，用户可以以管理应用的方式管理基础架构。通过利用Docker快读交付，测试和部署代码的能力，用户可以大大地减少编写代码和在生产环境中运行代码的延迟Docker提供了在一个松散隔离的环境中打包和运行应用的功能，这个环境被称为容器。容器是轻巧的，它们不需要其他额外的管理程序就

2022-07-11 16:34:39 868

原创 ELK企业级日志分析系统

ELK日志分析系统是开源软件的集合，对外是作为一个日志管理系统的开源方案，它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。组成ELK日志分析系统（传统）是Elasticsearch+Logstash+Kibanaelasticsearch（es）：通过搭建群集；存储日志数据，索引日志数据；logstash ：收集日志，收集到了后给es数据库存储；kibana ：视图形式展现日志信息，更加人性化。也可以使用EFK：包含es数据库+Logstash+kafka+redis缓存数据库+Kibana1、E

2022-07-04 11:00:07 359

原创 zabbix分布式系统监控

zabbix server可以通过SNMP，zabbix agent，ping，端口监视等方法提供对远程服务器/网络状态的监视zabbix是由2部分构成，分别是zabbix server（监控端)与zabbix agent（被监控端）。CPU负荷内存使用磁盘使用网络状况端口监视日志监视安装与配置简单，学习成本低支持多语言（包括中文）免费开源自动发现服务器与网络设备分布式监视以及WEB集中管理功能可以无agent监视用户安全认证和柔软的授权方式通过WEB界面设置或查看监视结果email等通知功能 zabb

2022-07-03 20:34:08 203

原创 Redis主从复制，哨兵模式，集群高可用

主从模式:是三种集群方式里最简单的。它主要是基于Redis的主从复制特性架构的。通常我们会设置一个主节点，N个从节点;默认情况下，主节点负责处理使用者的IO操作，而从节点则会对主节点的数据进行备份，并且也会对外提供读操作的处理。主要的特点如下：主从模式下，当某一节点损坏时，因为其会将数据备份到其它Redis实例上，这样做在很大程度上可以恢复丢失的数据主从模式下，可以保证负载均衡主从模式下，主节点和从节点是读写分离的。使用者不仅可以从主节点上读取数据，还可以很方便的从从节点上读取到数据，这在一定程度上缓解了主

2022-06-27 17:58:14 307

原创 Redis配置与优化

Redis是一个开源的、使用 C语言编写的 NoSQL数据库。Redis基于内存运行并支持持久化，采用key-value(键值对）的存储形式，是目前分布式架构中不可或缺的一环Redis服务器程序是单进程模型，也就是在一台服务器上可以同时启动多个Redis进程，Redis的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个Redis进程，当多个客户端同时访问时，服务器的处理能力是会有一定程度的下降，若在同一台服务器上开启多个Redis进程，Redis在提高并发处理能力的同时会给服务器的CPU造

2022-06-26 23:22:42 110

原创 Squid代理服务器应用

Squid 是 Linux 系统中最常用的一款开源代理服务软件，可以很好地实现 HTTP 和 FTP，以及 DNS 查询、SSL 等应用的缓存代理，功能十分强大作为应用层的代理服务软件，Squid 主要提供缓存加速、应用层过滤控制的功能当客户机通过代理来请求 Web 页面时，指定的代理服务器会先检查自己的缓存1.如果缓存中已经有客户机需要的页面，则直接将缓存中的页面内容反馈给客户机2.如果缓存中没有客户机要访问的页面，则由代理服务器向 Internet 发送访问请求，获

2022-06-25 17:13:28 121

原创 Mysql高可用之MHA

一、MHA概述1、MHA简介MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，MHA是由日本人开发，是一套优秀的MySQL故障切换和主从复制的高可用软件在MySQL故障切换的过程中，MHA能做到0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能够最大程度上保证数据库的一致性，以达到真正意义上的高可用MHA由perl语言编写，该工具仅仅使用于MySQLReplication环境，目的在于维持Master主库的高可用性

2022-06-17 01:25:59 185

原创 Mysql主从复制与读写分离

1.原理：读写分离基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。2.为什么要读写分离：因为数据库的“写”（写10000条数据可能要3分钟）操作是比较耗时的。但是数据库的“读”（读10000条数据可能只要5秒钟）。所以读写分离，解决的是，数据库的写入，影响了查询的效率3.什么时候需要用到读写分离：数据库不一定要读写分离，如果程序使用数据库较多时，而更新少，查询多的

2022-06-13 01:25:29 74

原创 MySQL存储引擎

mysql的存储引擎有：InnoDB[MySQL 5.5或更高版本的默认存储引擎]、MyISAM[管理非事务性表，提供高速存储和检索，支持全文搜索]、MEMORY[提供内存中的表，用于快速查找引用和其他相同的数据]、MERGE[将多个类似的MyISAM表分组为一个表，可以处理非事务性表，默认情况下包括这些表]、EXAMPLE[可以使用此引擎创建表，但不能存储或获取数据]、ARCHIVE[用于存储大量数据，不支持索引]、CSV[在文本文件中以逗号分隔值格式存储数据]、BLACKHOLE[受要存储的数据，但始

2022-06-13 00:59:57 131

原创 MySql数据库备份

（1）备份：从数据库导出数据：格式：mysqldump -h链接ip -P(大写)端口 -u用户名 -p密码数据库名>d:XX.sql(路劲)（2）备份导出示例：1、导出数据和表结构——将特定数据库特定表中的数据和表格结构和数据全部返回2、导出表结构却不导出表数据——只返回特定数据库特定表格的表格结构，不返回数据,添加“-d”命令参数3、导出表结构和满足挑顶条件的表数据——只返回特定数据库中特定表的表格结构和满足特定条件的数据4、导出数据却不导出表结构——只返回特定数据库中特定表格的数据，不返回表格结构

2022-06-13 00:37:38 619

原创 Mysql高阶SQL语句

一、Mysql进阶查询：1、按关键字排序：使用order by 语句来实现排序排序可针对一个或多个字段ASC：升序，（默认排序方式）DESC:降序Order by的语法结构：单字段排序：2、对结果分组：使用group by 语句来实现分组：和count（列名)聚合函数，配合这使用通常结合聚合函数一起使用可以按一个或多个字段对结果进行分组Group by的语法结构3、限制结果条目：只返回select 查询结果的第一行或前几行使用limit语句限制条目 0 1 2 3 4

2022-06-13 00:17:27 250

原创 MysQL索引与事务

索引及分类1）索引的概念索引是一种特殊的文件，包含着对数据表中所有记录的引用指针2）索引的作用设置了合适的索引之后，数据库利用各种快速的定位技术，可以大大加快数据的查询速度当表大时，或者查询涉及多个表时。使用索引可使查询速度加快上千倍可以降低数据库的IO成本，并且索引还可以降低数据库的排列成本通过创建唯一索引。可以保证数据库表中每一行数据的唯一性可以加快表与表中的连接在使用分组个排序子句进行数据查询时。可以显著减少查询中分组和排序的时间3）索引的分类普通索引，这是最基本的索引类型，而且他没有唯一性之

2022-06-13 00:02:17 91

原创 Haproxy搭建web集群

目前常见的Web集群调度器分为软件和硬件软件通常使用开源的LVS、Haproxy、Nginx硬件一般使用比较多的是F5，也有很多人使用国内的一些产品，如梭子鱼、绿盟等LVS在企业应用中抗负载能力很强，但存在不足LVS不支持正则处理，不能实现动静分离对于大型网站，LVS的实施配置复杂，维护成本相对较高Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件适用于负载大的Web站点运行在硬件上可支持数以万计的并发连接的连接请求Haproxy支持多种调度算法，最常用的有三种RR算法是最

2022-06-12 23:43:18 63

原创 LVS+Keepalived群集

keepalived概述调度器出现单点故障,如何解决?Keeplived实现了高可用集群Keepalived最初是为了LVS设计的,专门监控各服务器节点的状态Keepalived后来加入了VRRP功能,防止单点故障keepalived的功能VRRP热备(FTP,MySQL,HTTP,Nginx,LVS)自动配置LVS规则(enable)Keepalived自带健康检查功能keepalived实现原理剖析Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能VRRP(虚拟路由冗余协议)是

2022-06-12 23:17:39 155

原创 LVS负载集群——DR模式

数据包流向分析(1）客户端发送请求到Director Server(负载均衡器），请求的数据报文（源IP是CIP,目标IP 是VIP)到达内核空间。(2)Director server 和 Real Server在同一个网络中，数据通过二层数据链路层来传输。(3）内核空间判断数据包的目标IP是本机VIP，此时IPVS（IP虚拟服务器）比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。修改源MAc地址为 Director Server的MAC地址，修改目标MAC地址为Real Server 的M

2022-06-11 17:41:33 139

原创 LVS负载均衡集群——NAT模式

一.LVS是什么LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。在linux内存2.6中，它已经成为内核的一部分，在此之前的内核版本则需要重新编译内核。二.LVS的作用LVS主要用于多服务器的负载均衡。它工作在网络层，可以实现高性能，高可用的服务器集群技术。它廉价，可把许多低性能的服务器组合在一起形成一个超级服务器。它易用，配置非常简单，且有多种负载均衡的方法。它稳

2022-06-10 17:51:10 226

原创 Tomcat服务部署与优化

一.Tomcat服务器简介Tomcat 是 Java 语言开发的，Tomcat 服务器是一个免费的开放源代码的 Web 应用服务器，是 Apache 软件基金会的 Jakarta 项目中的一个核心项目，由 Apache、Sun 和其他一些公司及个人共同开发而成。Tomcat 属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试 JSP 程序的首选。一般来说，Tomcat 虽然和 Apache 或者 Nginx 这些 Web 服务器一样，具有处理 HTML 页面的功能，然而

2022-06-06 20:11:06 109

原创 Web服务与HTTP协议

web服务器目前最主流的三个Web服务器是Apache、Nginx、 IIS。 Web服务器也称为WWW(WORLD WIDE WEB)服务器，主要功能是提供网上信息浏览服务。web服务器的特点1.Web服务器是一种被动程序：只有当Internet上运行其他计算机中的浏览器发出的请求时，服务器才会响应。2.Web服务器使用HTTP（超文本传输协议）与客户机浏览器进行信息交流，这就是人们常把它们称为HTTP服务器的原因。3.Web服务器不仅能够存储信息，还能在用户通过Web浏览器提供的信息的基础上运行脚本和程

2022-06-06 16:45:45 776

原创 MySQL基础知识

一.Mysql使用时的注意事项1.每日一条数据库操作语句都应该以分号 ;结尾，因为mysql支持换行操作2.mysql数据库对大小写不敏感，大小写皆可，通常关键字使用大写表示3.mysql数据库中哭的名称应该以英文字符或者一些符号起始，但是不允许以数字起始4.mysql数据库中哭的名称、表的名称、字段的名称都不能使用mysql关键字，比如create、database；如果非要使用，那就用反引号括起来二.MySQL中库的操作登录MySQL mysql -uroot -p创建库：create da

2022-06-06 00:53:30 130

原创 LNMP搭建

LNMP是指一组通常一起使用来运行动态网站或者服务器的自由软件名称首字母缩写。L指Linux，N指Nginx，M一般指MySQL，也可以指MariaDB，P一般指PHP，也可以指Perl或PythonLNMP代表的就是：Linux系统下Nginx+MySQL+PHP这种网站服务器架构。Linux是一类Unix计算机操作系统的统称，是目前最流行的免费操作系统。代表版本有：debian、centos、ubuntu、fedora、gentoo等。Nginx是一个高性能的HTTP和反向代理服务器，也是一个IMAP/

2022-06-05 20:31:37 50

原创 NGINX

一、nginx简介1. 什么是 nginx 和可以做什么事情Nginx 是高性能的 HTTP 和反向代理的web服务器，处理高并发能力是十分强大的，能经受高负载的考验,有报告表明能支持高达 50,000 个并发连接数。其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。2.Nginx 作为 web 服务器Nginx 可以作为静态页面的 web 服务器，同时还支持 CGI 协

2022-05-29 23:06:06 86

原创 Linux防火墙firewalld

firewalld（Dynamic Firewall Manager of Linux System，Linux系统的动态防火墙管理器）服务是默认的防火墙配置管理工具，它拥有基于CLI（命令行界面）和基于GUI（图形用户界面）的两种管理方式。在比较新的系统中，firewalld 防火墙已经取代了 iptables 防火墙firewalld和iptables的区别1.iptables主要是基于接口，来设置规则，从而判断网络的安全性。firewalld是基于区域，根据不同的区域来设置不同的规则，从而保

2022-05-01 23:41:17 792

原创 Linux防火墙iptables

一.iptables概述Linux系统的防火墙: IP 信息包过滤系统，它实际上由两个组件 netfilter 和 iptables 组成。主要工作在网络层，针对 IP 数据包。针对 TCP/IP 数据包实施过滤和限制，属于典型的包过滤防火墙（或称为网络层防火墙）netfilter/iptables：IP 信息包过滤系统，它实际上由两个组件 netfilter 和 iptables 组成。1.1 netfilter/iptables关系netfilter : 属于“内核态”( Ke.

2022-05-01 20:20:27 86

原创 shell编程之免交互--Here Document与Expect

Shell中通常将EOF与 << 结合使用，表示后续的输入作为子命令或子Shell的输入，直到遇到EOF为止，再返回到主调Shell。可以把EOF替换成其他东西，意思是把内容当作标准输入传给程序，当shell看到< <的时候，它就会知道下一个词是一个分界符。在该分界符以后的内容都被当作输入，直到shell又看到该分界符(位于单独的一行)。这个分界符可以是你所定义的任何字符串一、Here Document免交互1.1Here Document概述使用I/O重定向的方式将.

2022-05-01 19:59:56 66

原创 Linux文本处理三剑客sed和awk

grep awk sed是Linux下文本处理常用的命令，这篇笔记就是详细阐述文本三剑客的用法概述：grep：文本过滤器，仅仅是过滤文本，没有编辑功能sed：StreamEDitor，流编辑器，可以按照特定规则按行编辑数据（sed是不处理原数据的，编辑完的行默认是打印到屏幕，所以sed运行完原文件内容是不变的）awk：报告生成器，可以根据特定字符分割行（如空格、冒号、顿号等），然后按照你设定的格式显示。（如果对处理的数据需要生成报告之类的信息，或者你处理的数据是按列进行处理的，最好使用 a.

2022-05-01 19:41:08 203

原创 Linux中常用的正则表达式

1. 什么是正则表达式正则表达式（Regluar Expressions）又称规则表达式，这个概念最初是由Unix中的工具软件（如sed 和 grep）普及开的。正则表达式在代码中常简写为REs，regexes或regexp（regex patterns）。它本质上是一个小巧的、高度专用的编程语言。许多程序设计语言都支持通过正则表达式进行字符串操作。例如，在Perl中就内建了一个功能强大的正则表达式引擎。2. 正则表达式能做什么正则表达式的主要应用对象是文本，使用正则表达式可以指定想要匹配的字符串

2022-05-01 19:18:53 11387 1

原创 SSH远程管理和TCP Wrappers访问控制

一.SSH远程管理1.1 定义1.SSH（Secure Shell ）是一种安全通道协议，主要用来实现字符界面的远程的登录、远程复制等功能2.SSH协议对通信双方的数据传输进行了加密处理，其中包括用户登录时输入的用户口令，因此SSH协议具有很好的安全性1.2 优势SSH客户端通过网络与SSH服务端进行远程连接时，数据数据是加密的，可以防止信息泄露；数据传输是压缩的，可以提高传输速度1.3 客户端与服务端1.客户端：Putty、Xshell、CRT2.服务端：OpenSSH1）O

2022-05-01 18:53:55 2002

原创 Linux日志服务

一.日志基本配置日志服务:管理日志的方法,包括日志的存放位置,日志的轮转,备份日志存放的位置：1.rpm包安装的服务,日志默认: /var/log2.源码安装的服务,日志默认: 安装目录下系统日志分类/var/log/dmesg 系统启动时进程日志/var/log/messages 包括系统还有其他服务日志/var/log/boot.log 启动日志/var/log/secure 安全日志1.服务日志/var/log/cron 计划任务日志/var/log

2022-05-01 18:35:17 883

原创 shell编程case和for循环

case $变量 in ...esac 语句和其它编程语言类似，Shell 也支持两种分支结构（选择结构），分别是 if else 语句和 case in 语句当分支较多，并且判断条件比较简单时，使用 case in 语句就比较方便了case in 示例：使用case流控来删除用户执行脚本：*)的说明：除最后一个分支外（这个分支可以是普通分支，也可以是*)分支），其它的每个分支都必须以;;结尾，;;代表一个分支的结束，不写的话会有语法错误。最后一个分支可以写;;，也可以不写...

2022-04-19 02:15:18 360

原创 shell条件测试与if流控

1.条件测试的基本语法在shell程序中，用户可以使用测试语句来测试指定的条件表达式的条件的真或假。当指定的条件为真时，整个条件测试的返回值为0；反之，如果指定的条件为假，则条件测试语句的返回值为非0值。2.文件测试表达式使用test示例：使用 [ ] 示例：使用 [[ ]] 示例：3.字符串表达式"字符串" = "字符串" 示例：and和or 混合条件测试当条件测试比较复杂时，需要多个条件同时成立，需要用到混合条件测试&am...

2022-04-15 03:39:07 236

原创 shell基础

一：什么是shell？shell（壳）：命令解释器，是linux中的翻译官，也是一种应用程序。二：shell语言的特点Shell本身是一个用C语言编写的程序，Shell既是一种命令语言，又是一种程序设计语言。作为命令语言，它交互式地解释和执行用户输入的命令；作为程序设计语言，它定义了各种变量和参数，并提供了许多在高级语言中才具有的控制结构，包括循环和分支。三：shell脚本的四种执行方式方式1：bash 脚本名方式2：. 脚本名方式3：source 脚本名方式4：./...

2022-04-11 03:03:43 81

原创 Linux的系统安全和应用

将用户设置为无法登录示例：锁定用户—passwdpasswd -l 锁定用户 passwd -u 解锁用户示例：删除账户—userdeluserdel -r 用户名chattr命令chatter命令对文件操作+i 锁定文件 root也写不了-i 解锁文件+a 加上可追加内容的权限不能编辑的情况可以用echo进行追加lsattr 查看底层的文件权限 ll查不了i 仅可读切换用户——susu 用户名给普通用户提权...

2022-03-29 02:34:44 51

原创 Linux进程与计划任务管理

一、程序和进程的关系1.1、程序保存在硬盘、光盘等介质中的可执行代码和数据文件中静态保存的代码也就是一堆代码，可以长时间的保存在系统中1.2、进程进程是程序运行的过程，进程存在着生命周期，也就是进程会随着陈序的终止而销毁在CPU及内存中运行的程序代码，动态执行的代码父、子进程（每个程序可以创建一个或多个进程）1.3、线程线程是操作系统能够进行运算调度的最小单位它包含在进程之中，是进程中的实际运作单位一条线程指的是进程中的一个单一顺序的控制流，一个进程中可以并发

2022-03-26 03:09:34 58

原创 RAID磁盘阵列

"RAID"一词是由David Patterson, Garth A. Gibson, Randy Katz 于1987年在加州大学伯克利分校发明的。在1988年6月SIGMOD会议上提交的论文"A Case for Redundant Arrays of Inexpensive Disks”"中提出，当时性能最好的大型机不断增长的个人电脑市场开发的一系列廉价驱动器的性能所击败。尽管故障与驱动器数量的比例会上升，但通过配置冗余，阵列的可靠性可能远远超过任何大型单个驱动器的可靠性。独立硬盘冗余阵列（RAI

2022-03-25 03:08:25 76

空空如也

空空如也