- 博客(88)
- 收藏
- 关注
原创 Docker-Consul
consul介绍是一个基于CP的轻量级分布式高可用的系统,提供服务发现、健康检查、K-V存储、多数据中心等功能,不需要再依赖其他组件(Zk、Eureka、Etcd等)。服务发现:Consul可以提供一个服务,比如api或者MySQL之类的,其他客户端可以使用Consul发现一个指定的服务提供者,并通过DNS和HTTP应用程序可以很容易的找到所依赖的服务。 健康检查:Consul客户端提供相应的健康检查接口,Consul服务端通过调用健康检查接口检测客户端是否正常 K-V存储:客户端可以使用Con
2023-12-23 23:21:30
466
原创 Docker Compose编排
Docker Compose简介●一个定义及运行多个Docker容器的工具●Docker Compose非常适合组合使用多个容器进行开发的场景YAML●YAML是一种标记语言很直观的数据序列化格式●文件格式及编写注意事项不支持制表符tab键缩进,需要使用空格缩进通常开头缩进2个空格字符后缩进1个空格,如冒号、逗号、横杆用#号注释如果包含特殊字符用单引号引起来布尔值必须用引号括起来...
2022-02-03 14:11:45
380
原创 Docker容器-cgroups资源配置
Cgroup的概述Cgroup是Control Groups的缩写,是Linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如CPU、 内存、磁盘I0等等)的机制。被LXC. docker等很多项目用于实现进程资源控制。Cgroup本身是提供将进程进行分组化管理的功能和接口的基础结构, I/O或内存的分配控制等具体的资源管理是通过该功能来实现的,这些具体的资源管理功能称为Cgroup子系统,有以下几大子系统实现:使用stress工具测试CPU和内存...
2022-02-02 10:29:22
419
原创 Docker容器之私有仓库(Harbor)
创建私有仓库下载registry镜像docker pull registry指定镜像仓库地址vim /etc/docker/daemon.json{ "insecure-registries": ["192.168.159.11:5000"], '//添加此段,本机IP地址' "registry-mirrors": ["https://q0kfjn11.mirror.aliyuncs.com"]} systemctl restart docker.service
2022-01-21 20:38:58
1668
原创 Docker 镜像分层及dockerfile 编写与优化
Docker镜像原理·Docker镜像是由特殊的文件系统叠加而成·最底端是bootfs,并使用宿主机的bootfs·第二层是root文件系统rootfs,称为base image·然后再往上可以叠加其他的镜像文件·统一文件系统(Union File System)技术能够将不同的层整合成一个文件系统,为这些层提供了一个统一的视角,这样就隐藏了多层的存在,在用户的角度看来,只存在一个文件系统。·一个镜像可以放在另一个镜像的上面。位于下面的镜像称为父镜像,最底部的镜像成为基础镜像。·当从一个镜像启动容器时.
2022-01-16 22:10:19
716
原创 Docker 基本命令
镜像基本操作docker search 搜索镜像docker pull 下载镜像docker images 查看镜像列表docker inspect 查看镜像详细信息详细如下:docker tag Nginx:latestNginx:lnmp 添加镜像标签删除docker rmi镜像名称docker rmi 镜像标签docker rm id号 删除容器ps: 不能删除运行中的容器 (需要 +-f 强制删除...
2022-01-14 23:55:57
697
原创 KVM 虚拟化
目录虚拟化技术介绍虚拟化类型虚拟化的特性:KVM概述KVM简介KVM的作用KVM 虚拟化架构/三种模式KVM核心组件及作用KVM工作流程KVM的优势虚拟化技术介绍通过虚拟化技术将一台计算机虚拟为多台逻辑计算机,在一台计算机上同时运行多个逻辑计算机,同时每个逻辑计算机可运行不同的操作系统,应用程序都可以在相互独立的空间内运行而互相不影响,从而提高计算机的工作效率虚拟化类型1)全虚拟化:将物理硬件资源全部通过软件的方式抽象化,最后进行调用 使用的方法:使用
2022-01-10 17:34:31
1466
原创 初识Docker
简介Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的Linux机器或Windows机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口。物理机必须要内核3.8以上才能支持docker特点 服务彼此之间相互独立(服务之间的解耦) 服务可以灵活迁移(Docker引擎 docker-ce) 耦合是指两个或两个以上的体系或两种运动形式间通过相互作用而彼此影响以至联合起来的现象。解耦就是用数学
2022-01-10 17:17:03
141
原创 ELK 日志分析系统
目录一、ELK日志分析系统1、日志服务器2、日志处理步骤二、Elasticsearch概述1、Elasticsearch特性三、LogStash概述1、LogStash主要组件四、Kibana概述1、Kibana主要功能五、部署ELK日志分析系统1、实验需求2、环境配置3、配置elasticsearch环境(node1、node2)1、此时客户机访问,查看节点信息2、检测集群健康、查看集群状态3、 安装elasticsearch-head插件.
2021-12-16 17:29:14
2634
原创 GFS分布式文件系统
一、GlusterFS简介1、GlusterFS的概念GlusterFS:分布式文件系统开源的分布式文件系统 组成: 存储服务器 客户端 NFS/Samba 存储网关 无元数据服务器 数据分散存储 可避免出现单点故障 补充:FS(文件系统)的作用:从系统角度来看,文件系统是对文件存储设备的空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索的系统。具体地说,它负责为用户建立文件,存入、读出、修改、转储文件,控制文件的存取文件系统组成:1)文件系统接
2021-12-15 18:22:46
222
原创 rsync远程同步
一、rsync简介rsync(Remote Sync,远程同步)一款开源的快速备份工具 支持本地复制 也可以在不同主机(例如:其他SSH、rsync主机)之间镜像同步整个目录树,支持增量备份,并保持钳接和权限。 采用优化的同步算法,传输前执行压缩,,因此非常适用于异地备份、镜像服务器等应用。二、rsync同步源在远程同步任务中,负责发起rsync司步操作的客户机称为发起端,而负责响应来自客户机的rsync同步操作的服务器称为同步源(备份源)。在同步过程中,同步源负责提供文件的原始位置,
2021-12-14 22:45:46
401
原创 redis 主从复制、哨兵模式、群集模式
redis集群 虽然Redis可以实现单机的数据持久化,但无论是RDB也好或者AOF也好,都解决不了单点宕机问题,即一旦单台 redis服务器本身出现系统故障、硬件故障等问题后,就会直接造成数据的丢失,此外单机的性能也是有极限的,因此需要使用另外的技术来解决单点故障和性能扩展的问题。1. 主从复制:主从复制是高可用Redis的基础,哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化;写操作无法负载均衡;.
2021-12-14 15:04:00
143
原创 分布式数据库中间插件-MyCat
MyCatMyCat是目前最流行的分布式数据库中间插件,是一个开源的分布式数据库系统,是一个实现了MySQL协议的服务器,前端用户可以把它看作是一个数据库代理,用MySQL客户端工具和命令行访问,而其后端可以用MySQL原生协议与多个MySQL服务器通信,也可以用JDBC协议与大多数主流数据库服务器通信,其核心功能是分表分库,即将一个大表水平分割为N个小表,存储在后端MySQL服务器里或者其他数据库里。MyCat发展到目前的版本,已经不是一个单纯的MySQL代理了,它的后端可以支持MySQL、SQL
2021-12-12 20:27:37
1406
原创 初识 Redis 非关系型数据库
目录一、关系数据库与非关系型数据库1、关系型数据库2、非关系型数据库3、关系型数据库和非关系型数据库区别4、非关系型数据库产生背景二、Redis简介三、Redis具备的特点四、Redis 部署以及相关命令五、Redis 高可用六、Redis持久化七、RDB持久化1、触发条件2、执行流程3、启动时加载八、AOF持久化1、开启AOF2、执行流程3、启动时加载九、RDB和AOF的优缺点1、RDB持久化2、AOF持久化十、Red
2021-12-10 16:42:20
913
原创 MySQL MHA高可用集群部署
MySQL MHAMHA概念MHA(MasterHigh Availability)是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。MHA 的出现就是解决MySQL 单点的问题。MySQL故障切换过程中,MHA能做到0-30秒内自动完成故障切换操作。MHA能在故障切换的过程中最大程度上保证数据的一致性,以达到真正意义上的高可用。MHA 的组成●MHA Node(数据节点)MHA Node 运行在每台 MySQL 服务器上。●MHA Manager(管理节点)MHA
2021-12-10 11:13:10
252
原创 MySQL 主从复制与读写分离
MySQL 主从复制1.1主从复制架构和原理1.1.1服务性能扩展方式 向上扩展,垂直扩展 向外扩展,横向扩展 MySQL的扩展 读写分离 复制:每个节点都有相同的数据集,向外扩展,基于二进制日志的单向复制 读写分离MySQL 读写分离原理读写分离就是只在主服务器上写,只在从服务器上读。基本的原理是让主数据库处理事务性操作,而从数据库处理 select 查询。数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库。目前较为常见的 My
2021-12-08 22:55:27
153
原创 MySql数据库高级语句(二)
MySQL高级SQL语句1、EXISTSEXISTS用来测试内查询有没有产生任何结果,类似布尔值是否为真,如果有的话,系统就会执行外查询中的SQL语句,若是没有,那整个SQL语句就不会产生任何结果。语法:SELECT 字段1 FROM 表1 WHERE EXISTS (SELECT * FROM 表2 WHERE 条件);例:select region from REGION where exists (select * from FARE where money = '700');2
2021-12-07 17:08:54
168
原创 MySql数据库高级语句(一)
SELECT显示表格中一个或数个栏位的所有资料语法:SELECT "栏位" FROM "表名";例:SELECT Store_Name FROM Store_Info;DISTINCT不显示重复的资料语法:SELECT DISTINCT "栏位" FROM "表名";例:SELECT DISTINCT Store_Name FROM Store_Info;WHERE有条件查询语法:SELECT "栏位" FROM "表名" WHERE...
2021-12-06 17:15:59
550
原创 MySql备份与恢复
MySQL 日志管理MySQL 的日志默认保存位置为 /usr/local/mysql/datavim /etc/my.cnf[mysqld]##错误日志,用来记录当MySQL启动、停止或运行时发生的错误信息,默认已开启log-error=/usr/local/mysql/data/mysql_error.log #指定日志的保存位置和文件名通用查询日志,用来记录MySQL的所有连接和语句,默认是关闭的general_log=ONgeneral_log_file=/usr/lo
2021-12-06 15:25:20
212
1
原创 MySql事务和存储引擎
(一)MySQL 事物1、事务的概念事务是一种机制、一个操作序列,包含了一组数据库操作命令,并且把所有的命令作为一个整体一起向系统提交或撤销操作请求,即这一组数据库命令要么都执行,要么都不执行。 事务是一个不可分割的工作逻辑单元,在数据库系统上执行并发操作时,事务是最小的控制单元。 事务适用于多用户同时操作的数据库系统的场景,如银行、保险公司及证券交易系统等等。 事务通过事务的整体性以保证数据的一致性。说白了,所谓事务,它是一个操作序列,这些操作要么都执行,要么都不执行,它是一个不可分割的工
2021-12-01 19:30:26
162
1
原创 MySql的索引
(一)索引的概念索引是一个排序的列表,在这个列表中存储着索引的值和包含这个值的数据所在行的物理地址(类似于C语言的链表通过指针指向数据记录的内存地址)。 使用索引后可以不用扫描全表来定位某行的数据,而是先通过索引表找到该行数据对应的物理地址然后访问相应的数据,因此能加快数据库的查询速度。 索引就好比是一本书的目录,可以根据目录中的页码快速找到所需的内容。 索引是表中一列或者若干列值排序的方法。 建立索引的目的是加快对表中记录的查找或排序。(二)索引的作用设置了合适的索引之后,数据库利用各种
2021-11-30 16:10:19
77
原创 MySql(数据库的用户管理和用户授权)
数据库用户管理新建用户CREATE USER '用户名'@'来源地址' [IDENTIFIED BY [PASSWORD] '密码'];'用户名':指定将创建的用户名'来源地址':指定新创建的用户可在哪些主机上登录,可使用IP地址、网段、主机名的形式,本地用户可用localhost,允许任意主机登录可用通配符%'密码':若使用明文密码,直接输入'密码',插入到数据库时由Mysql自动加密; 若使用加密密码,需要先使用SELECT PASSWORD('密码'); 获取密文,
2021-11-28 19:48:28
120
原创 MySQL -基础
Linux 下MySQL神器 -mycliMyCLI 是 MySQL,MariaDB 和 Percona 的命令行界面,具有自动完成和语法突出显示功能。安装#安装依赖包yum install -y gcc gcc-c++ zlib-devel openssl-devel readline-devel libffi-devel sqlite-devel tcl-devel tk-devel#下载python源码包wget https://www.python.org/ftp/python/
2021-11-27 19:08:41
469
原创 认识mysql
(一)数据库的基本概念1.1、数据(Data)描述事物的符号标记 包括数字,文字,图形,图像,声音,档案记录等 以“记录”形式按统一的格式进行存储1.2、表将不同的记录组织在一起 用来存储具体的数据1.3、数据库表的集合,是存储数据的仓库 以一定的组织方式存储的相互有管的数据集合1.4、数据管理系统(DBMS)是实现对数据路资源有效组织,管理和存取的系统软件 数据库的建立和维护功能,数据定义功能,数据操作功能,数据库的运行管理功能,通信功能1.5、数据库系统是一个人
2021-11-26 23:41:17
385
原创 集群之HAProxy
目录HAProxy介绍HAProxy的主要特性有:HAProxy负载均衡策略非常多,常见的有如下8种:LVS、Nginx、HAproxy的区别:配置文件详解实验过程:节点服务测试负载均衡HAProxy日志管理HAProxy介绍HAProxy是法国开发者威利塔罗(Willy Tarreau)在2000年使用C语言开发的一个开源软件,是一款具备高并发(一万以上)、高性能的TCP和HTTP负载均衡器,支持基于cookie的持久性,自动故障切换,支持正则表达式
2021-11-25 16:52:30
249
原创 集群LVS-DR Keepalived
LVS-DR原理Director Server作为群集的访问入口,但不作为网关使用,后端服务器池中的Real Server与Director Server在同一个物理网络中,发送给客户机的数据包不需要经过Director Server。为了响应对整个群集的访问,DS与RS都需要配置有VIP地址。数据包流向分析 用户发送请求到Director Server,请求的数据报文(源IP是CIP,目标IP是VIP)到达内核空间。 由于DS和RS在同一个网络中,所以是通过二层数据链路层来传.
2021-11-24 22:56:04
357
原创 负载均衡原理及LVS-NAT的部署
集群和分布式系统性能扩展方式: Scale UP:垂直扩展,向上扩展,增强,性能更强的计算机运行同样的服务 Scale Out:水平扩展,向外扩展,增加设备,并行地运行多个服务调度分配问题,Cluster 垂直扩展不再提及:随着计算机性能的增长,其价格会成倍增长单台计算机的性能是有上限的,不可能无限制地垂直扩展,多核CPU意味着即使是单台计算机也可以并行的。那么,为什么不一开始就并行化技术?集群 ClusterCluster:集群,为解决某个特定问题将多台计算机组合.
2021-11-20 22:29:39
761
原创 集群之Nginx+Tomcat实现负载均衡、动静分离
Nginx 负载均衡实现原理1、Nginx 实现负载均衡是通过反向代理实现2、Nginx 配置反向代理的主要参数Nginx 动静分离实现原理1、动静分离原理服务端接收来自客户端的请求中,既有静态资源也有动态资源,静态资源由 Nginx 提供服务,动态资源由 Nginx 转发至后端。2、Nginx 静态处理优势——Nginx 处理静态页面的效率远高于 Tomcat 的处理能力——若 Tomcat 的请求量为1000次,则 Nginx 的请求量为6000次——Tomcat 每秒的吞吐量
2021-11-20 13:27:53
370
原创 Tomcat服务区部署和虚拟主机配置
简介:Tomcat 服务器是一个免费的开放源代码的Web 应用服务器,属于轻量级应用服务器, 在中小型系统和并发访问用户不是很多的场合下被普遍使用,是开发和调试JSP 程序的首选。 对于一个初学者来说,可以这样认为,当在一台机器上配置好Apache 服务器,可 利用它响应HTML(标准通用标记语言下的一个应用)页面的访问请求。 实际上Tomcat是Apache 服务器的扩展,但运行时它是独立运行的,所以当你运行tomcat 时, 它实际上作为一个与Apache 独立的进程单独运行的。Tomca.
2021-11-18 16:30:03
808
原创 Nginx的rewrite重写跳转和location匹配
常用的Nginx 正则表达式^ :匹配输入字符串的起始位置$ :匹配输入字符串的结束位置* :匹配前面的字符零次或多次。如“ol*”能匹配“o”及“ol”、“oll”+ :匹配前面的字符一次或多次。如“ol+”能匹配“ol”及“oll”、“olll”,但不能匹配“o”? :匹配前面的字符零次或一次,例如“do(es)?”能匹配“do”或者“does”,”?”等效于”{0,1}”. :匹配除“\n”之外的任何单个字符,若要匹配包括“\n”在内的任意字符,请使用诸如“[.\n]”之类的模式\
2021-11-16 19:49:13
11716
原创 NGINX 优化与防盗链
版本信息如何查看版本信息[root@localhost ~]#curl 192.168.159.101[root@localhost ~]#curl -I 192.168.159.101
2021-11-15 19:32:29
2163
原创 源码编译安装LNMP平台(使用Linux, Nginx,MySQL与PHP搭建论坛)
编译安装NGINX安装依赖包yum -y install pcre-devel zlib-devel gcc gcc-c++ make新建用户 组便于管理(nginx 服务程序默认 以 nobody 身份运行,建议为其创建专门的用户账户,以便更准确的控制访问权限)useradd -M -s /sbin/nologin nginx #-M(不创建主目录) -s(不允许登录)编译安装Nginxcd /opt/ 准备好的 tar包解压 到 /opt/ 目录tar z...
2021-11-13 17:33:20
3507
原创 NGINX 编译安装与配置
Nginx:Nginx是一个高性能的HTTP和反向代理服务器。是一款轻量级的web服务器/反向代理服务器/电子邮件(IMAP/POP3)代理服务器单台物理服务器可支持30 000~50 000个并发请求。ApacheApache是以进程为基础的结构,进程要比线程消耗更多的系统开支,不太适用于多处理器环境,因此,在一个apache Web站点扩容时,通常是增加服务器或扩充群集节点而不是增加处理器。优缺点比较:(1)nginx相对于apache的优点: 轻量级,同样是web服务
2021-11-10 15:57:16
3301
3
原创 源码编译安装LAMP平台(使用Linux ,Apache,MySQL与PHP搭建论坛)
目录LAMP概述各组件作用编译安装的优点各组件安装顺序实验过程:安装MYSQL安装PHP安装论坛LAMP概述LAMP架构是目前成熟的企业网站应用模式之一,指的是协同工作的一整套系统和相关软件,能够提供动态Web站点服务及其应用开发环境。LAMP是一个缩写词,具体包括Linux操作系统、Apache网站服务器、MySQL数据库服务器、PHP(或Perl、Python)网页编程语言。各组件作用L:(平台)Linux:作为LAMP架构的基础,提供用于支撑W
2021-11-06 22:10:58
888
原创 Linux防火墙(二)
SNAT策略及应用SNAT策略的典型应用环境 局域网主机共享单个公网IP地址接入lnternetSNAT策略的原理 源地址转换,Source Network Address Translation 修改数据包的源地址SNAT的典型应用环境 随着Internet网络在全世界范围内的快速发展,IPv4协议支持的可用IP地址资源逐渐变少,资源匮乏使得许多企业难以申请更多的公网IP地址,或者...
2021-11-06 16:03:52
265
原创 linux 防火墙(一)
目录firewalld概述firewalld与iptables的区别firewalld区域的概念firewalld防火墙预定义了9个区域firewalld数据处理流程Firewalld防火墙的配置方法1.运行时配置2.永久配置firewalld防火墙的配置方法常用的 firewall-cmd 命令选项常用命令区域管理服务管理端口管理firewalld概述1)firewalld防火墙是Centos7系统默认的防火墙管理工具,取代了之前的ip
2021-11-06 15:41:39
322
原创 shell之免交互
Here Document定义使用I/O重定向的方式将命令列表提供给交互式程序标准输入的一种替代品语法格式命令<< 标记..........标记注意事项1.标记可以使用任意的合法字符(通用的字符是EOF)2.结尾的标记一 定要顶格写,前面不能有任何字符(包括空格)3.结尾的标记后面也不能有任何字符(包括空格)4.开头标记前后空格会被省略掉5.单引号 变量双引号 —例1:使用 wc -l 命令后面直接跟文件名就可以统计文件内有多
2021-11-01 22:09:44
202
原创 shell之sed和awk
sed编辑器sed是一种流编辑器,流编辑器会在编辑器处理数据之前基于预先提供的–组规则来编辑数据流。sed编辑器可以根据命令来处理数据流中的数据,这些命令要么从命令行中输入,要么存储在一个命令文本文件中。sed的工作流程主要包括读取、执行和显示三个过程:●读取: sed从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中(又称模式空间,pattern space)●执行:默认情况下,所有的sed命令都在模式空间中顺序地执行,除非指定了行的地址,否则sed 命令将会在所有的行上依
2021-10-28 21:08:59
4193
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人