隐藏着的光-CSDN博客

原创自动化运维管理工具 Ansible

vars: #定义变量\- groupname: mysql #格式为 key: valuetasks:group: name={{groupname}} system=yes gid=306 #使用 {{key}} 引用变量的值copy: content="{{ansible_default_ipv4}}" dest=/opt/vars.txt #在setup模块中可以获取facts变量信息。

2022-09-17 02:37:44 422 1

原创 Docker 安全及日志管理

容器的安全性问题的根源在于容器和宿主机共享内核。如果容器里的应用导致Linux内核崩溃，那么整个系统可能都会崩溃。与虚拟机是不同的，虚拟机并没有与主机共享内核，虚拟机崩溃一般不会导致宿主机崩溃。

2022-09-17 02:29:14 432

1.1 什么是服务注册与发现____服务注册与发现是微服务架构中不可或缺的重要组件。因为起初服务都是单节点的，不保障高可用性，也不考虑服务的压力承载，服务之间调用单纯的通过接口访问。直到后来出现了多个节点的分布式架构，起初的解决手段是在服务前端负载均衡，这样前端必须要知道所有后端服务的网络位置，并配置在配置文件中。这里就会有几个问题:如果需要调用后端服务A-N，就需要配置N个服务的网络位置，配置很麻烦后端服务的网络位置变化，都需要改变每个调用者的配置。

2022-09-17 02:26:14 249

原创 Docker Harbor私有仓库部署与管理

1.1 什么是Harbor？Harbor 是VMware 公司开源的企业级Docker Registry 项目，其目标是帮助用户迅速搭建一个企业级的Docker Registry 服务。Harbor以Docker 公司开源的Registry 为基础，提供了图形管理UI、基于角色的访问控制(Role Based AccessControl) 、AD/LDAP集成、以及审计日志(Auditlogging)等企业用户需求的功能，同时还原生支持中文。

2022-09-17 02:21:49 209

原创 Docker-compose

___Docker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。____Docker-Compose将所管理的容器分为三层，分别是工程（project），服务（service）以及容器（container）。Docker-Compose运行目录下的所有文件（docker-compose.yml，extends文件或环境变量文件等）组成一个工程，若无特殊指定工程名即为当前目录名。一个工程当中可包含多个服务，每个服务中定义了容器运行的镜像、参数、依赖。

2022-09-17 02:09:24 239

原创 Dockerfile架设LNMP

关闭防火墙3、自定义网络二、部署nginx（容器IP 为 172.18.0.10）再其他主机修改nginx.conf 配置文件，并用scp传输到宿主机。下一步进入nginx目录，写nginx的Dockerfile文件脚本。三、部署mysql（容器IP 为 172.18.0.20）mkdir /opt/mysqldcd /opt/mysqld上传 mysql-boost-5.7.20.tar.gz 到 /opt/mysqld 目录中并把my.cnf配置文件也拖进来四、部署php（容器IP

2022-09-17 02:07:00 851

原创 Docker的数据管理

管理Docker 容器中数据主要有两种方式:数据卷(Data Volumes)和数据卷容器( DataVolumes Containers)。1.1 数据卷数据卷是一个供容器使用的特殊目录，位于容器中。可将宿主机的目录挂载到数据卷上，对数据卷的修改操作立刻可见，并且更新数据不会影响镜像，从而实现数据在宿主机与容器之间的迁移。数据卷的使用类似于Linux下对目录进行的mount操作。需求：宿主机目录/var/www挂载到容器中的/data1。注意:宿主机本地目录的路径必须是使用绝对路径。

2022-09-16 11:19:47 90

原创 Docker的资源控制管理

___cgroups，是一个非常强大的linux内核工具，他不仅可以限制被namespace隔离起来的资源,还可以为资源设置权重、计算使用量、操控进程启停等等。所以cgroups (Control groups) 实现了对资源的配额和度量。cgroups有四大功能:资源限制:可以对任务使用的资源总额进行限制；先级分配:通过分配的cpu时间片数量以及磁盘I0带宽大小，实际上相当于控制了任务运行优先级；资源统计:可以统计系统的资源使用量，如cpu时长，内存用量等；

2022-09-16 11:16:30 100

原创 Docker网络

1.1 docker网络实现的原理____Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥(docker0)，Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，称为Container-IP，同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的Container-IP直接通信。

2022-09-16 11:12:59 1366

原创 Docker

1.1 Docker 初识Docker是一个开源的应用容器引擎，基于go语言开发并遵循了apache2.0协议开源。Docker是在Linux容器里运行应用的开源工具，是一种轻量级的“虚拟机”。Docker 的容器技术可以在一台主机上轻松为任何应用创建一个轻量级的、可移植的、自给自足的容器。Docker的Logo设计为蓝色鲸鱼，拖着许多集装箱。鲸鱼可看作为宿主机，集装箱可理解为相互隔离的容器，每个集装箱中都包含自己的应用程序。

2022-09-16 09:07:39 132

原创 Zabbix监控

1.1 Zabbix监控架构为了防止Zabbix单点故障，做了Zabbix的高可用，如果公司集群不是很大，单台就可以；如果agentd特别多的话，就需要Proxy做代理，来减少Zabbix的压力；数据存储在database数据库中；1.2 Zabbix的优点开源,无软件成本投入Server对设备性能要求低支持设备多,自带多种监控模板支持分布式集中管理,有自动发现功能，可以实现自动化监控开放式接口,扩展性强,插件编写容易。

2022-09-16 09:02:08 375

原创 zookeeper + kafka集群搭建详解

2.1 Kafka定义Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据实时处理领域。2.2 Kafka简介。

2022-09-16 08:57:32 1103

原创 Zookeeper

1.1 zookeeper的概述ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的原语集，提供Java和C的接口。

2022-09-10 09:59:52 145

原创 ELK日志分析系统简

ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。...

2022-08-31 09:25:16 543

原创 GlusterFS基本概念

2.1 Brick（存储块）指可信主机池中由主机提供的用于物理存储的专用分区，是GlusterFS中的基本存储单元，同时也是可信存储池中服务器上对外提存储目录。2.2 Volume（逻辑卷）一个逻辑卷是一组Brick的集合。卷是数据存储的逻辑设备，类似于LVM 中的逻辑卷。大部分Gluster管理操作是在卷上进行的。是一个内核模块，允许用户创建自己的文件系统，无须修改内核代码。2.4 VFS内核空间对用户空间提供的访问磁盘的接口。2.5 Glusterd（后台管理进程）...

2022-08-31 09:23:28 816

原创 rsync远程同步

rsync（Remote Sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。rsync 的官方站点的网址是 http://rsync.samba.org/，目前最新版本是 3.1.3，由 Wayne Davison 进行维护。作为一种最常用的文件备份工具，rsync 往往是 Linux 和 UNIX 系统默认安装的基本组件之一。...

2022-08-31 09:18:56 270

原创 NoSQL之Redis主从复制、哨兵集群

1.1 主从复制的概念主从复制，是指将一台 Redis 服务器的数据，复制到其他的 Redis 服务器。前者称为主节点(Master)，后者称为从节点(Slave)；数据的复制是单向的，只能由主节点到从节点。默认情况下，每台 Redis 服务器都是主节点；且一个主节点可以有多个从节点 (或没有从节点)，但一个从节点只能有一个主节点。1.2 主从复制的作用数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。故障恢复：当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复；...

2022-08-31 09:18:14 151

原创 LNMP+Redis

前面博客已经写过搭建步骤，具体可参考：NoSQL之 Redis配置与优化中的第三节：redis的安装和部署。前面博客已经写过搭建步骤，具体可参考：LNMP架构的源码编译超详细步骤！1）在nginx站点目录中窗口set.php文件。3）在nginx站点目录中窗口get.php文件。2）重启php，然后查看redis模块是否安装。方法一：官网下载：redis官方网站！2）测试方法一：使用curl命令测试。4）测试方法一：使用curl命令测试。4）测试方法一：使用curl命令测试。测试方法二：登录网页查看。...

2022-08-31 09:14:31 372

原创 Redis配置与优化

官方网址：https://redis.io/Redis是一个开源的、使用C语言编写的NoSOL数据库，Redis服务器程序是单进程模型。Redis基于内存运行并支持持久化（支持存储在磁盘），采用key-value（键值对）的存储形式，是目前分布式架构中不可或缺的一环。Redis服务在一台服务器上可以同时启动多个Redis进程，Redis的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个Redis进程，当多个客户端同时访问时，服务器的处理能力是会有一定程度的下降;...

2022-08-31 09:13:57 349

原创 Redis的五大数据类型使用的方法详细介绍

Redis的五大数据类型也称五大数据对象；了解过6大数据结构，Redis并没有直接使用这些结构来实现键值对数据库，而是使用这些结构构建了一个对象系统redisObject；这个对象系统包含了五大数据对象：字符串对象（string）、列表对象（list）、哈希对象（hash）、集合（set）对象和有序集合对象（zset）；而这五大对象的底层数据编码可以用命令OBJECT ENCODING来进行查看。...

2022-08-31 09:13:19 257

原创 Squid服务

1 . Squid作用：缓存加速，缓存从后端web服务器获取到的，加速为了客户端访问2 . Squid的三种模式：① 传统模式需要客户端指向squid代理服务器，客户端能感知到squid代理服务器的存在修改的配置文件：squid.conf 设置 3128 端口、缓存和允许下载的大小② 透明代理客户端不需要配置，只要直接访问即可，服务端开启路转发，借助了防护墙规则及静态路由的方式，完成透明代理修改的配置文件：squid.conf 设置ip和 3128 端口。...

2022-08-31 09:12:17 1828

原创 MYSQL三M介绍

MMM（Master-Master replication manager for MvSQL，MySQL主主复制管理器）是一套支持双主故障切换和双主日常管理的脚本程序。

2022-08-31 09:11:35 12481

原创 MHA高可用

MHA（MasterHigh Availability）是一款开源的 MySQL 的高可用程序，它为 MySQL 主从复制架构提供了 automating master failover 功能。MHA 在监控到 master 节点故障时，会提升其中拥有最新数据的 slave 节点成为新的master 节点，在此期间，MHA 会通过于其它从节点获取额外信息来避免一致性方面的问题。MHA 还提供了 master 节点的在线切换功能，即按需切换 master/slave 节点。...

2022-08-31 09:10:57 305

原创 MySQL日志管理、备份与恢复、断点

MySQL 的日志默认保存位置为/usr/local/mysql/dataMySQL 的日志配置文件为/etc/my.cnf ，里面有个[mysqld]项。这是我们当时安装mysql时指定的目录，如下图所示：1.1 日志的分类1）错误日志用来记录当MySQL启动、停止或运行时发生的错误信息，默认已开启log-error=/usr/local/mysql/data/mysql_error.log #指定日志的保存位置和文件名2）通用查询日志用来记录MySQL的所有连接和语句，默认是关闭的。...

2022-08-15 10:54:52 242

原创高阶SQL语言VIEW（视图）

1.1 概念可以被当作是虚拟表或存储查询视图跟表格的不同是，表格中有实际储存资料，而视图是建立在表格之上的一个架构，它本身并不实际储存资料。临时表在用户退出或同数据库的连接断开后就自动消失了，而视图不会消失。视图不含有数据，只存储它的定义，它的用途一般可以简化复杂的查询。比如你要对几个表进行连接查询，而且还要进行统计排序等操作，写SQL语句会很麻烦的，用视图将几个表联结起来，然后对这个视图进行查询操作，就和对一个表查询一样，很方便。1.2 创建、查看和删除视图。...

2022-08-15 10:53:46 2349

原创 MySQL高级语句

常用查询(增、删、改、查)对MySQL数据库的查询，除了基本的查询外，有时候需要对查询的结果集进行处理。例如只取10条数据、对查询结果进行排序或分组等等1、按关键字排序PS:类比于windows任务管理器使用SELECT语句可以将需要的数据从MySQL数据库中查询出来，如果对查询的结果进行排序，可以使用ORDER BY语句来对语句实现排序，并最终将排序后的结果返回给用户。这个语句的排序不光可以针对某一个字段，也可以针对多个字段(1)语法ASCI DESC;...

2022-08-15 10:52:53 380

原创 MySQL 索引、事务、存储引擎

动态表包含可变字段，记录不是固定长度的，这样存储的优点是占用空间较少，但是频繁的更新、删除记录会产生碎片，需要定期执行 OPTIMIZE TABLE 语句或 myisamchk -r 命令来改善性能，并且出现故障的时候恢复相对比较困难。因为索引本身会消耗系统资源，在有索引的情况下，数据库会先进行索引查询，然后定位到具体的数据行，如果索引使用不当，反而会增加数据库的负担。索引是一个排序的列表，在这个列表中存储着索引的值和包含这个值的数据所在行的物理地址（类似于C语言的链表通过指针指向数据记录的内存地址）。..

2022-08-09 22:49:53 97

原创数据库用户管理

来源地址可以是域名、IP 地址，还可以使用“%”通配符，表示某个区域或网段内的所有地址，如“%.accp.com”、“192.168.80.%”等。在新建用户时，若省略“IDENTIFIED BY”部分，则用户的密码将为空。‘来源地址’：指定新创建的用户可在哪些主机上登录，可使用IP地址、网段、主机名的形式，本地用户可用localhost，允许任意主机登录可用通配符%例：允许用户 zhangsan 在本地查询 ali数据库中所有表的数据记录，但禁止查询其他数据库中的表的记录。...

2022-08-09 16:54:36 224

原创 MYSQL数据库管理（萌新版）

1.1库和表数据库–>数据表–>行（记录）：用来描述一个对象的信息_________________________________________________________ 列（字段）：用来描述对象的一个属性常用的数据类型int ：整型float ：单精度浮点 4字节32位double ：双精度浮点 8字节64位char ：固定长度的字符类型varchar ：可变长度的字符类型text ：文本image ：图片decimal(5,2) ：5个有效长度数字，小数点后面有2位。...

2022-08-05 16:27:19 90

原创 MySQL数据库（小白入门版）

非关系数据库也被称作NoSQL(Not Only SQL) 存储数据不以关系模型为依据，不需要固定的表格式非关系型数据库的优点数据库可高并发读写对海量数据高效率存储与访问数据库具有高扩展性与高可用性常用的非关系数据库：Redis、mongoDB等一款深受欢迎的开源关系型数据库Oracle旗下的产品遵守GPL协议，可以免费使用与修改特点性能卓越、服务稳定开源、无版权限制成本低多线程、多用户基于CS(客内端/服务器)架构安全可靠。...

2022-08-05 16:26:22 916

原创 Haproxy集群

1.1 HAProxy是什么？是一个使用C语言编写的自由及开放源代码软件，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。HAProxy实现了一种事件驱动,单一进程模型，此模型支持非常大的并发连接数。...

2022-08-05 16:25:39 142

原创 LVS+Keepalived高可用群集的介绍和搭建

在这个高度信息化的 IT 时代，企业的生产系统、业务运营、销售和支持，以及日常管理等环节越来越依赖于计算机信息和服务，对高可用（HA）技术的应用需求不断提高，以便提供持续的、不间断的计算机系统或网络服务。Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。1.1 工作原理。...

2022-08-05 16:20:48 310

原创 LVS负载均衡群集+实验

●HA(HighAvailabilityCluster)高可用群集，以提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高。随着Internet的爆炸性增长以及日常生活中的日益重要的作用，Internet上的流量速度增长，以每年1O0%以上的速度增长。无论是哪种群集，都至少包括两台节点服务器，而对外表现为一个整体，只提供一个访问入口（域名或P地址），相当于一台大型。一种是单服务器解决方案，即将服务器升级到性能更高的服务器，但是当请求增加时，将很快过载，因此必须再次对其进行升。...

2022-08-01 14:00:05 324

原创 Tomcat 配置及优化

以上是一些常用的配置参数，还有好多其它的参数设置，还可以继续深入的优化，HTTPConnector与AJPConnector的参数属性值，可以参考官方文档的详细说明进行学习。默认值是-1（无限制）。【maxThreads】Tomcat使用线程来处理接收的每个请求，这个值表示Tomcat可创建的最大的线程数，即支特的最大并发连接数，默认值是200。【acceptCount】指定当所有可以使用的处理请求的线程数都被使用时，可传入连接请求的最大队列长度，超过这个数的请求将不予处理，默认为100个。...

2022-07-31 14:45:21 527

原创 Tomcat部署及安装

免费的、开放源代码的Web应用服务器Apache软件基金会(ApacheSoftwareFoundation)Jakarta项目中的一个核心项目由Apache、Sun和一些公司及个人共同开发而成深受Java爱好者的喜爱，并得到部分软件开发商的认可目前比较流行的Web应用服务器自2017年11月编程语言排行榜Java占比13号，高居榜首，Tomcat也一度成为Java开发人员的首选。其开源、占用系统资源少、跨平台等特性被深受喜爱。本章主要学习如何。...

2022-07-26 17:14:59 222

原创 Nginx Rewrite

为精确匹配/，主机名后面不能带任何字符串，比如访问和/data,则/匹配，/data不匹配再比如location=/abc,则只匹配/abc,/abc/或/abcd不匹配。因为所有的地址都以/开头，所以这条规则将匹配到所有请求比如访问/和/data,则/匹配，/data也匹配，但若后面是正则表达式会和最长字符串优先匹配（最长匹配）匹配/images/abc/1.html文件，如果和正则1ocation~/images,/abc/1.html相比，正则优先级更高。...

2022-07-25 12:15:51 425

原创隔壁少妇都在学的Nginx优化与防盗链

none允许没有httprefer的请求访问资源（根据Referer的定义，它的作用是指示一个请求是从哪里链接过来的，如果直接在浏览器的地址栏中输入一个资源的URL地址，那么这种请求是不会包含Referer字段的)，如http//w,kgc,com/game,jpg。若将它设置为0，就禁止了keepalive连接。我们使用http//www.kgc,com访问显示的图片，可以理解成http//www.kgc,com/game,jpg这个请求是从httpLwww,kgc,com这个链接过来的。...

2022-07-22 10:20:45 1631

空空如也

空空如也