xiaol_csdn_xiaol的博客

原创 Docker网络

Docker 网络实现原理Docker使用Linux桥接，在宿王机虚拟一个Docker容器网桥（dockero），pocker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，称为container-IP，同时Dock er网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的Container-IP直接通信。Docker网析是宿主机虚拟出来的，并不是真实存在的网络设备，外部网络是无法寻址到的，这也意味着外部网络无法直接通过Container-IP

原创 Docker概述

什么是容器？通俗的讲，容器就是一个操作系统的最小镜像，在容器上面可以运行应用程序（可以认为是轻量级的虚拟机），但是这玩意和虚拟机的实现原理不一样。虚拟机：传统的虚拟机需要模拟一整台设备，包含硬件，而且每台虚拟机都必须有自己的操作系统，虚拟机一经被启动，预分派给他的资源就会全数被占用。每一台虚拟机都包含应用，必需的二进制和库，还有一套完善的用户操作系统。容器：容器就是和宿主设备共享硬件资源和操作系统，可以实现资源的动态分配。容器中包含应用以及其所有的依赖包，但是与其他独立的容器共用系统内核。容器在宿主机

原创 zabbix监控

zabbix简介Zabbix 是一个企业级分布式开源监控解决方案。Zabbix 软件能够监控众多网络参数和服务器的健康度、完整性。Zabbix 使用灵活的告警机制，允许用户为几乎任何事件配置基于邮件的告警。这样用户可以快速响应服务器问题。Zabbix 基于存储的数据提供出色的报表和数据可视化功能。这些功能使得 Zabbix 成为容量规划的理想选择。Zabbix 支持主动轮询（polling）和被动捕获（trapping）。zabbix由2部分构成，zabbix server与可选组件zabbix agen

原创 ELK日志分析

ELK概述ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、Logstash和Kiabana 三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。ELK各组件介绍ElasticSearch是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch 是用Java开发的，可通过RESTful Web接口，让用户可以通过浏览器与Elasticsearch通信。Elasticsearch是一个实时的、分布式的可

原创 Redis高可用 哨兵 主从 集群

redis高可用在web服务器中，高可用是指服务器可以正常访问的时间，衡量的标准是在多长时间内可以提供正常服务（99.9%、99.99%、99.999%等等）。在Redis语境中，高可用的含义似乎要宽泛一些，除了保证提供正常服务（如主从分离、快速容灾技术），还需要考虑数据容量的扩展、数据安全不会丢失等。在Redis中，实现高可用的技术主要包括持久化、主从复制、哨兵和Cluster集群，下面分别说明它们的作用，以及解决了什么样的问题。持久化：持久化是最简单的高可用方法（有时甚至不被归为高可用的手段），主要作

原创 Redis配置优化

RedisRedis（远程字典服务器）是一个开源的、使用c语言编写的NoSQL数据库。Redis 基于内存运行并支持持久化，采用key-value（键值对）的存储形式，是目前分布式架构中不可或缺的一环。Redis服务器程序是单进程模型，也就是在一台服务器上可以同时启动多个Redis进程，Redis的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个Redis进程，当多个客户端同时访问时，服务器的处理能力是会有一定程度的下降；若在同一台服务器上开启多个Redis进程，Redis在提高并发处理

原创 squid缓存代理服务器

web缓存的工作机制缓存网页对象，减少重复请求squid 主要提供缓存加速、应用层过滤控制的功能。代替客户机问网站请求数据，从而可以隐藏用户的真实Ip地址。将获得的网页数据（静态Web元素）保存到缓存中并发送给客户机，以便下次请求相同的数据时快速响应。代理服务器的概念代理服务器是一个位于客户端和原始（资源）服务器之间的服务器，为了从原始服务器取得内容，客户端向代理服务器发送一个请求并指定目标原始服务器，然后代理服务器向原始服务器转交请求并将获得的内容返回给客户端。缓存代理对于Web至关重要，尤其

原创 MHA高可用集群

MHA概述mysql服务器中master高可用一套优秀的MySQL高可用环境下故障切换和主从复制的软件MHA的出现就是解决MySQL单点的问题MySQL故障过程中，MHA能做到0-30秒内自动完成故障切换MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用MHA的组成MHA Manager（管理节点）MHA Node（数据节点）MHA的特点自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据不丢失使用半同步复制，可以大大降低数据丢失的风险，如果只有一个

原创 MySQL主从复制 读写分离

读写分离概述读写分离，基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。主从复制与读写分离在实际的生产环境中，对数据库的读和写都在同一个数据库服务器中，是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此，通过主从复制的方式来同步数据，再通过读写分离来提升数据库的并发负载能力。有点类似于rsync，但是不同的是rsync

原创 MySQL高级语句

SELECT显示表格中的一个或者多个字段中所有的信息DISTINCT去重WHERE有条件查询AND OR且 或IN显示已知的值的数据记录BETWEEN显示两个值范围内的数据记录通配符通常通配符都是跟LIKE一起使用的LIKE匹配一个模式来找出我们要的数据记录ORDER BY按关键字排序函数数学函数聚合函数字符串函数GROUP BY查询结果进行汇总分组对GROUEBY后面的字段的查询结果进行汇总分组，通常是结合聚合函数一起使用的GROUP BY有一个原则，凡是在GRO

原创 MySQL日志管理 备份与恢复

MysQL的日志默认保存位置为/usr/1ocal/mysql/data错误日志用来记录当MySQL启动、停止或运行时发生的错误信息，默认已开启通用查询日志用来记录MySQL的所有连接和语句，默认是关闭的二进制日志用来记录所有更新了数据或者已经潜在更新了数据的语句，记录了数据的更改，可用于数据恢复，默认已开启慢查询日志用来记录所有执行时间超过long_query_time秒的语句，可以找到哪些查询语句执行时间长，以便于优化，默认是关闭的配置日志修改配置文件日志的查询MySQL数据备份的重

原创 MySQL索引 事务 存储引擎

MySQL 索引索引的概念数据库索引索引是一个排序的列表，在这个列表中存储着索引的值和包含这个值的数据所在行的物理地址（类似于c语言的链表通过指针指向数据记录的内存地址）使用索引后可以不用扫描全表来定位某行的数据，而是先通过索引表找到该行数据对应的物理地址然后访问相应的数据，因此能加快数据库的查询速度。索引就好比是一本书的目录，可以根据目录中的页码快速找到所需的内容。索引是表中一列或者若干列值排序的方法。建立索引的目的是加快对表中记录的查找或排序。索引的作用及副作用索引的作用设置了合适的索引之后

原创 MySQL数据库管理

数据库基本操作库和表常用的数据类型char与varchar区别查看数据表结构查看当前服务器的数据库查看数据库中包含的表查看表的结构SQL语句SQL语句用于维护管理数据库，包括数据查询、数据更新、访问控制、对象管理等功能SQL语句分类：创建及删除数据库和表创建新的数据库创建新的表主键一般选择能代表唯一性的字段不允许取空值（NULL），一个表只能有一个主键。示例删除指定的数据表删除指定的数据库管理表中的数据记录向数据表中插入新的数据记录示例查询数据记录修改、更新数据中的

原创 MySQL数据库基础

数据库的概念数据描述事物的符号记录包括数字，文字、图形、图像、声音、档案记录等以“记录”形式按统一的格式进行存储表将不同的记录组织在一起用来存储具体数据数据库表的集合，是存储数据的仓库以一定的组织方式存储的相互有关的数据集合是按照数据结构来组织、存储和管理数据的仓库库中有表，表中有记录数据库的管理系（DBMS）是实现对数据库资源有效组织、管理和存取的系统软件数据库的建立和维护功能、数据定义功能、数据操纵功能、数据库的运行管理功能、通信功能数据库系统是一个人机系统，由硬件、OS、数据

原创 Haproxy搭建web集群

HaproxyHAProxy是可提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，是免费、快速并且可靠的一种解决方案。HAProxy非常适用于并发大（并发达1w以上）web站点，这些站点通常又需要会话保持或七层处理。HAProxy的运行模式使得它可以很简单安全的整合至当前的架构中，同时可以保护web服务器不被暴露到网络上常见的Web集群调度器目前常见的Web集群调度器分为软件和硬件软件类通常使用开源的LVS、nginx、HaproxyLVS性能最好，但是搭建相对复杂；Nginx的upst

原创 LVS+Keepalived

群集的含义Cluster，集群、群集由多台主机构成，但对外只表现为一个整体，只提供一个访问入口（域名或IP地址），相当于一台大型计算机问题互联网应用中，随着站点对硬件性能、影响速度、服务稳定性、数据可靠性等要求越来越高，单台服务器已经无法满足负载均衡及高可用的要求解决方法使用价格昂贵的小型机、大型机使用多台相对廉价的普通服务器构建集群通过整合多台服务器，使用lvs来达到服务器的高可用和负载均衡，并以同一个IP地址对外提供相对的服务。企业群集分类群集的三种类型负载均衡群集高可用群集高性能运

原创 Tomcat部署

TomcatTomcat 是 Java 语言开发的，Tomcat 服务器是一个免费的开放源代码的 Web 应用服务器，是 Apache 软件基金会的 Jakarta 项目中的一个核心项目，由 Apache、Sun 和其他一些公司及个人共同开发而成。Tomcat 属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试 JSP 程序的首选。一般来说，Tomcat 虽然和 Apache 或者 Nginx 这些 Web 服务器一样，具有处理 HTML 页面的功能，然而由于其处理

原创 nginx重写 location rewrite

常见的nginx正则表达式locationlication的分类location 常用的匹配规则location 匹配的优先级首先精准匹配=其次前缀匹配^~其次是按文件中顺序的正则匹配 或*然后匹配不带任何修饰的前缀匹配最后是交给 / 通用匹配location 示例精准匹配通用匹配location / {}因为所有的地址都以 / 开头，所以这条规则将匹配到所有请求 比如访问 / 和 /data, 则 / 匹配， /data 也匹配location /test/ {}匹配任何以

原创 nginx防盗链

防盗链在企业网站服务中，一般都要配置防盗链功能，以避免网站内容被非法盗用，造成经济损失，也避免了不必要的带宽浪费。Nginx 的防盗链功能也非常强大，在默认情况下，只需要进行很简单的配置，即可实现防盗链处理配置盗链网站主机在盗链网站主机添加域名域名映射关系在Web源主机添加域名映射关系在盗链网站开启服务，并在网页中测试配置防盗链编辑主配置文件将盗链图片拉入web网站根目录...

原创 LNMP架构

编译安装 Nginx 服务关闭防火墙安装相关依赖包创建运行用户解压软件包及配置编译安装优化路径将Nginx 加入系统服务编译安装mysql服务安装Mysql环境依赖包创建运行用户解压配置编译安装修改mysql 配置文件更改mysql安装目录和配置文件的属主属组设置路径环境变量初始化数据库cd /usr/local/mysql/bin/./mysqld–initialize-insecure–user=mysql–basedir=/usr/local/mysql–datadir=

原创 Nginx搭建

Nginx服务基础概述一款高新能 轻量级Web服务软件稳定性高系统资源消耗低对HTTP并发连接的处理能力高单台物理服务器可支持30 000～50 000个并发请求nginx相对于apache的优点轻量级，同样起web服务,比apache占用更少的内存及资源高并发，nginx处理请求是异步非阻塞的，而apache是阻塞型的在高并发下，nginx能保持低资源低消耗高性能高度模块化的设计。编写模块相对简单apache相对于nginx的优点Rewrite比nginx的rewrite强大 模块多，基本

原创 web基础

web基础域名概述ip地址不易记忆早期使用Hosts文件解析域名主机名称重复主机维护困难DNS（Domain Name System 域名系统）分布式层次性域名空间结构根域顶级域组织域国家/地区域二级域名FQDN=主机名.DNS后缀HTML概述HTML叫做超文本标记语言，是一种规范，也是一种标准，它通过标记符号来标记要显示的网页中的各个部分。网页文件本身是一种文本文件，通过在文本文件中添加标记符，可以告诉浏览器如何显示其中的内容。HTML文件可以使用任何能够生成xt文件的文本编辑器来编辑

原创 iptables防火墙

防火墙

原创 shell脚本免交互

免交互

原创 shell脚本之awk

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具

原创 shell脚本之sed

sed的作用sed是Stream Editor（流编辑器）的缩写，简称流编辑器；用来处理文件 一行一行读取文件内容并按照要求进行处理，把处理后的结果输出到屏幕常用选项常见处理动作对文件进行增、删、改、查操作打印文件内容sed ‘’ a.txt 对文件什么都不做sed -n ‘p’ a.txt 打印每一行，并取消默认输出sed -n ‘1p’ a.txt 打印

原创 正则表达式

正则表达式使用字符串来描述、匹配一系列符合某个规则的字符串正则表达式组成普通字符包括大小写字母、数字、标点符号及一些其他符号。元字符是指在正则表达式中具有特殊意义的专用字符常见元字符扩展正则表达式位置锚定常见的管道命令sort命令针对文本文件的内容，以行为单位来排序格式：sort [选项] 参数常用选项：uniq命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用格式：uniq [选项] 参数常用选项：tr命令常用来对来自标准输入的字符

原创 shell脚本函数 数组

函数的作用语句块定义成函数约等于别名，定义函数，再引用函数封装的可重复利用的具有特定功能的代码格式方法一：[function] 函数名 (){命令序列[return x] #使用return或者exit可以显式的结束函数}法二：函数名(){命令序列}注意事项直接写函数中调用函数直接写函数名同名函数后一个生效调用函数一定要先定义只要先定义了调用的其他函数定义顺序无关调用的方法#!/bin/bashh () {echo “hello”}w () {

原创 shell脚本循环语句

echo命令echo -n 表示不换行输出echo -e 输出转义字符，将转义后的内容输出转义字符：echo -n 表示不换行输出echo -e 输出转义字符\n 换行输出for循环语句读取不同的变量值，用来逐个执行同一组命令格式for 变量名 in 取值列表do命令序列done循环出0到10之间的整数求1…10奇数和while语句重复测试某个条件，只要条件成立则反复执行格式while 条件测试操作do命令序列done猜数字游戏un

原创 shell脚本中的各种括号

原创 shell脚本条件测试

条件测试test 命令测试特定的表达式是否成立，当条件成立，测试语句的返回值为0，否则为其他数值格式：test 条件表达式 或 [ 条件表达式 ]文件测试常见选项整数值比较格式：[ 整数1 操作符 整数2 ]操作符：查询当前目录下文件是否大于5 大于则提示字符串比较格式：[ 字符串1 = 字符串2 ] #判断是否相等[ 字符串1 ！= 字符串2 ] #判断是否不等[ -z 字符串 ] #判断字符串内容是否为空操作符

原创 shell脚本

shell脚本概念将要执行的命令按顺序保存到一个文本文件给该文件可执行权限可结合各种Shell控制语句以完成更复杂的操作Shell脚本应用场景重复性操作交互性任务批量事务处理服务运行状态监控定时任务执行shell的作用shell是一个特殊的应用程序，它介于操作系统内核和用户之间，充当了一个“命令解释器”的角色，负责接收用户输入的操作指令并进行解释，将需要执行的操作传递给内核执行，并输出执行结果linux中有哪些Shell/bin/bash是默认的shell脚本编写脚本规范使

原创 linux日志文件

inode与block文件存储在硬盘上 硬盘的最小存储单位叫做扇区 每个扇区存储512字节操作系统读取硬盘的时候 不会一个个扇区地读取 而是一次性连续读取多个扇区,即一次性读取一个"块" ( block ) 这种由多个扇区组成的"块"是文件存取的最小单位 "块"的大小 最常见的是4KB 即连续八个扇区组成一个块文件数据存储在"块”中 那么还必须找到一个地方存储文件的元信息 比如文件的创建者、文件的创建日期、文件的大小等等 这种存储文件元信息的区域就叫做inode（索引节点）也叫i节点一个文件

原创 Linux系统安全

锁定长期不使用的账号usermod -Lpasswd -l解锁usermod -Upasswd -u删除账号userdeluserdel -r切换用户 su格式：su - 目标用户（横杠“ - ”代表切换到目标用户的家目录）​root - - - >任意用户，不验证密码普通用户- - - >其他用户，验证目标用户的密码带 “ - ” 表示将使用目标用户的登录Shell环境​查看su操作记录安全日志文件：/var/log/secure​whoami确定当前

原创 Linux进程管理

什么是进程？在CPU及内存中运行的程序代码动态执行的代码每个程序可以创建一个或者多个进程进程是正在执行的程序进程与线程的区别进程是资源竞争的基本单位线程是程序执行的最小单位查看进程 psa 显示终端上的所有进程 包括其它用户的进程u 表示列出进程的用户x 显示所有终端的进程e 显示系统内的所有进程信息l 使用长格式显示进程信息f 使用完整的格式显示进程信息直接执行不带任何选项的ps命令时 将只显示当前用户会话中打开的进程STATD:不可被唤醒的休眠状态;

原创 LVM逻辑卷管理

LVM概述逻辑卷管理优点：能够保证在现有数据不变的情况下，动态调整磁盘容量，从而提高磁盘管理的灵活性/boot分区用于存放引导文件，不能基于LVM创建PV 物理卷整个硬盘，或使用fdisk等工具建立的普通分区包括许多默认4MB大小的PE ( Physical Extent ,基本单元)VG 卷组一个或多个物理卷组合而成的整体LV 逻辑卷从卷组中分割出的一块空间，用于建立文件系统LVM管理vcreate 设备名1 [设备名2 … …](设备可以是分区，可以是硬盘）vgc

原创 linux系统引导过程

引导过程inux引导过程一般包括以下几个阶段开机自检 MBR 引导 GRUB 菜单 加载Linux内核 init 进程初始化开机自检（BIOS）：检测出第一个能够引导系统的设备，比如硬盘或者光驱或者pex 网络（网卡）。 bios设置的第一启动项。 服务器主机开机以后，将根据主板BIOS中的设置对CPU、内存、显卡、键盘等设备进行初步检测，检测成功后根据预设的启动顺序移交系统控制权，大多时候会移交给本机硬盘，因为操作系统一般都是装在硬盘内。自检过程中可以根据主机的POST信息进入配置，通常

原创 RAID磁盘阵列

RAID介绍磁盘阵列全称独立冗余磁盘阵列RAID可以通过技术（软件或者硬件）将多个独立的物理硬盘整合成为一个较大的硬盘组（逻辑硬盘），用户可以对它进行分区，格式化这个逻辑硬盘功能除了存储之外，它还具有数据保护的功能，提供数据备份技术，RAID技术分为几种不同的等级，分别可以提供不同的速度，安全性和性价比。根据实际情况选择适当的RAID级别可以满足用户对存储系统可用性、性能和容量的要求整个RAID由于选择的级别不同，而使得整合后的硬盘读写性能上有些不同常用的RAID级别有以下几种:RAID0，R

原创 磁盘与文件系统管理

硬盘（Hard Disk Driver，简称HDD）是计算机常用的存储设备之一硬盘的结构数据结构：扇区:盘片被分为多个扇形区域，每个扇区存放512字节的数据，硬盘的最小存储单位磁道:同一盘片不同半径的同心圆， 是由磁头在盘片表面划出的圆形轨迹，方便数据存储柱面:不同盘片相同半径构成的圆柱面，由同一半径圆的多个磁道组成物理结构：盘片 ：硬盘有多个盘片，每个盘片有2面磁头：每面一个磁头存储容量：硬盘存储容量=磁头数x磁道(柱面)数×每道扇区数×每扇区字节数(512字节)可以用柱面/磁头扇区

原创 Linux账号与权限管理

用户账号的分类超级用户：root用户是Linux操作系统中默认的超级用户账号，对本主机拥有最 高的权限，系统中超级用户是唯一的普通用户：由root用户或其他管理员用户创建，拥有的权限会受到限制， 一般只在用户自己的宿主目录中拥有完整权限程序用户：在安装Linux操作系统及部分应用程序时，会添加一些特定的低权限用户账号，这些用户一般不允许登录到系统，仅用于维持系统或某个程序的正常运行用户标识 UID（User IDentity 用户标识号）root用户的UID固定值0程序用户