- 博客(80)
- 收藏
- 关注
原创 docker之cgroup、compose
cgroup的功能docker使用cgroup控制资源,K8S里面也有limitsDocker通过Cgroup来控制容器使用的资源配额,包括CPU、内存、磁盘三大方面,基本覆盖了常见的资源配额和使用量控制。Cgroup是Control Groups 的缩写,是Linux 内核提供的。种可以限制、记录、隔离进程组所使用的物理资源(如CPU、内存、磁盘Io等等)的机制cpu在同一时刻只能给一个进程占用docker run -itd --cpu-shares 100 centos:stress--cp
2021-10-06 02:30:29
550
原创 dockerfile、优化、registry
镜像的分层镜像分层镜像分层的三个组件AUFS:提供了堆叠式的架构,将文件/目录的堆叠并且最后通过同一种方式提供出来BOOTFS:提供了base image底层镜像操作系统资源的支持,docker和宿主机是共用内核的,所以image中的底层镜像大小才能远远小于实际的操作系统镜像大小LXC:提供了底层的容器库镜像生成Dockerfile中的每个指令都会创建一个新的镜像层镜像层将被缓存和复用当Dockerfile的指令修改了,复制的文件变化了,或者构建镜像时指定的变量不同了,对应的镜像层缓存都会
2021-09-15 05:52:27
221
原创 Openstack基础知识(未完)
OpenStack简介它是NASA(美国航空航天局)和Rackspace共同发起以Apache许可证授权的自由软件和开源项目,为公有云及私有云的建设和管理提供软件的开源项目,覆盖了网络、虚拟化、操作系统、服务器等各个方面OpenStack核心组件服务项目名称概述compute(计算)Nova负责实例生命周期的管理,计算资源的单位network(网络)Neutron负责虚拟网络的管理,为实例创建网络的拓扑结构idenity(认证)Keystone对用户、租
2021-09-05 02:44:21
3129
原创 docker的网络模式、数据卷
Docker的四种网路模式host模式使用–net=host指定容器和宿主机共享Network namespacecontainer模式使用–net=container:NAME_or_ID指定多个容器共享一个Network namespacenone模式使用–net=none指定容器有独立的Networkbridge模式使用–net=bridge指定,默认设置默认为该模式一、HOST模式host容器将不会虛拟出自己的网卡,配置自己的IP等,而是使用宿
2021-09-05 02:14:37
220
原创 Docker
Docker是什么?干什么用的虚拟化资源,最初目的是提高硬件资源利用率,目前有灵活、方便扩容、缩容,可以以软件形式模拟物理硬件设备的功能。Docker是一种轻量级的“虚拟机”,是一种再Linux容器里运行应用的开源工具Docker的使用场景一般为打包应用程序简化部署、可脱离底层硬件任意迁移。Docker与虚拟机的区别虚拟化层的抽象层(用户层)剥离,使用docker engine来替代(来宾操作系统去除),只要通过引擎就可以直接连接到宿主机操作系统中,极大减小了开销。docker资源消耗低,不需要
2021-09-05 01:36:36
102
原创 KVM虚拟化
KVM云计算定义:①汇聚资源,并以资源池的方式提供②以云平台,例如OpenStack作为底座平台提供的③OpenStack使用虚拟化+物理资源的方式将这些计算、存储、网络等资源租凭给用户用户可以在任何时间、地点通过网络获取所需要的计算资源、网络资源、存储资源,并且按量计费、弹性伸缩,云计算就是一个大的租凭渠道。云计算所汇聚的这部分资源(通过云平台的方式汇聚这些资源),而云平台比如:阿里云、华为云这些云平台使用到的底层平台技术为OpenStack,而OpenStack利用了什么技术将资源可以划分给
2021-08-30 23:08:25
190
原创 ELK部署
部署ELK准备实验环境主机名需求软件IP地址ES服务器:node1Elasticsearch,Kibana192.168.59.129ES服务器:node2Elasticsearch192.168.59.128Logstash服务器Logstash,Apache192.168.59.130准备ES的环境配置JDK 、添加地址映射(node1、2同步操作)vim /etc/hosts解压安装JDK[root@node1 opt]# tar z
2021-08-27 15:50:13
94
原创 GlusterFS分布式文件系统
redis怎么储存文件的RDB持久化(类似快照)基于缓存中的数据去保存成临时文件这种方式再保存到磁盘里,生成.rdb文件AOF也是做fork进程阻塞的动作,把缓存中的数据搬到缓冲里面,再从缓冲搬到磁盘里面mysql是怎么存储数据文件的mysql中包含很多存储引擎,比如innodb、myisam等等,这些存储引擎会帮助我们把mysql库中的数据从缓存里面或临时文件里面保存为本地data目录 以frm格式进行保存文件系统的组成:1、文件系统接口2、功能模块(工具、管理存储)3、对象及属性文件系
2021-08-25 03:27:01
388
原创 Rsync(Remote Sync)
主要是一款基于增备的工具配置rsync源基本思路:1、建立rsyncd.conf配置文件、独立的账号文件2、启用rsync的–daemon模式账号文件1、需要对应的配置文件模块(使用不同的账号+功能模块)就可以使用不同的同步策略/方式2、在使用同步时,我们需要指定账号+功能模块来指定我们同步的策略...
2021-08-22 07:02:25
629
原创 Redits数据类型
一、String类型String是redis 最基本的类型,最大能存储512MB的数据,String类型是二进制安全的,即可以存储任何数据、比如数字、图片、序列化对象等
2021-08-19 05:12:59
707
原创 redis 高可用(持久化、主从复制、哨兵、集群)以及集群的三种模式
Redis高可用定义在web服务器中,高可用代表服务器可以正常访问的时间,一般使用百分比来衡量多长时间内可以提供正常服务但是在redis中,高可用的定义还要更广泛一点,除了提供正常的服务(如主从分离、快速灾变技术),还要考虑到数据容量的扩展,数据安全不丢失等。Redis实现高可用的技术分为四种持久化主从复制哨兵集群(cluster)持久化持久化是最简单的高可用方法,有时甚至不被承认是高可用方法,主要作用是数据备份,即将数据存储到硬盘,保证数据不会因为进程退出而丢失主从复制主从复制时高
2021-08-16 08:32:30
535
原创 redits
关系型数据库和非关系型数据库的区别(1) 数据存储方式不同关系型和非关系型数据库的主要差异是数据存储的方式。关系型数据天然就是表格式的,因此存储在数据表的行和列中。数据表可以彼此关联协作存储,也很容易提取数据。与其相反,非关系型数据不适合存储在数据表的行和列中,而是大块组合在一起。非关系型数据通常存储在数据集中,就像文档、键值对或者图结构。你的数据及其特性是选择数据存储和提取方式的首要影响因素。①关系型:依赖于关系模型E-R图,同时以表格式的方式存储数据②非关系型:除了以表格形式存储之外,通常会
2021-08-11 08:41:29
1102
原创 Squid
一、squid代理服务器应用缓存代理概述代理的基本类型●传统代理:适用于Internet,需明确指定服务端,用户需要手动输入一个代理服务器的IP:PORT●透明代理:客户机不需指定代理服务器的地址和端口,而是通过默认路由、防火墙策略将Web访问重定向给代理服务器处理,用户不需要指定代理服务器的IP:PORT,同时用户对于是否使用了代理服务器时无感知的透明代理的实现策略:使用路由、防火墙规则进行重定向给代理服务器处理原理代理的优点提升web访问速度隐藏客户机的真是IP地址...
2021-08-09 21:15:44
218
原创 Haproxy
Haproxy应用分析1、LVS在企业应用中抗负载能力很轻,但存在缺点LVS不支持正则处理,不能实现动静分离对于大型网站,LVS的实施配置复杂,维护成本相对较高2、Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理软件适用于负载大的web站点运行在硬件上可支持数以万计的并发连接的请求Haproxy的调度算法Haproxy的调度算法远远不像LVS那样只有四种,Haproxy的调度算法有 rr 、LC、SHRRLCSH运用Haproxy搭建web集群
2021-08-04 03:36:07
204
原创 LVS-DR集群+Keepalived
LVS-DR数据包流向数据包流经路线为1、2、3、4接受和响应都是由VIP地址回应,而根据DR模式来看的话,负载均衡器和real server是在同一内部网,VIP地址都是192.168.57.126,所以real server需要做路由禁锢,关闭各种重定向以及路由功能LVS-DR数据包流向分析1、Client向目标VIP发出请求,负载混衡器接受,ip包头源mac地址是自己的,目标mac地址是负载均衡器的2、负载均衡器根据算法选择realserver_1,不修改也不封装IP报文,而是将数据帧的M
2021-08-01 22:05:13
133
原创 LVS负载均衡集群、LVS-NAT
**集群大致可分为三类:**负载均衡集群、高可用集群、高性能运算集权负载均衡集群:LVS实现高可用集群:MHA manager实现 、LVS的HA是由keepalived实现(vrrp协议)高性能运算集权负载均衡集权1、提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标,获得高并发、高负载(LB)的整体性能2、LB的负载分配依赖于主节点的分流算法分流算法的三种模式:tunnel(IP隧道)、Dr(直接路由)、Nat地址映射高可用群集(High Availability Clus
2021-07-28 03:03:43
166
原创 MHA高可用集群
MHA存在的意义为了以防主服务器单点故障暴毙MHA的组件MHA Manager(管理节点):可以借助于node组件实现健康检查和故障切换MHA Node(数据节点):1、定时汇报给主manager节点 mysql服务的状态2、监控本地mysql服务功能MHA的概述1、一套优秀的Mysql高可用环境下故障切换和主从修复的软件2、Mysql故障过程中,MHA能做到0-30秒内自动完成故障切换MHA的特点1、自动故障切换过程中,MHA试图从宕机的主服务器上保存二进制日志,最大程度的保证数.
2021-07-26 00:09:17
235
2
原创 Mysql主从复制、读写分离
主从复制原理MySQL主从复制原理MySQL的复制类型1、基于语句的复制(STATEMENT, MySQL默认类型)2、基于行的复制(ROW)3、混合类型的复制(MIXED)主从复制工作过程★★两日志、三线程(1)在每个事务更新数据完成之前,Master 在二进制日志( Binarylog)记录这些改变。写入二进制日志完成后,Master 通知存储引擎提交事务。(2) Slave 将Master 的复制到其中继日志(Relay log)。首先slave开始-一个工作线程(I/O) ,I/o
2021-07-24 18:04:12
154
2
原创 mySQL的gao阶语句Ⅲ
数据库函数1、数据函数数据库内存储的记录,经常要进行一系列的算数操作,所以Mysql支持很多数学函数。常用的数学函数如表所示数学函数描述abs(x)返回x的绝对值rand()返回0到1的随机数mod(x,y)返回x除以y以后的余数power(x,y)返回x的y次方round(x)返回离x最近的整数round(x,y)保留x的y位小数四舍五入后的值sqrt(x)返回x的平方根truncate(x,y)返回数字x截断位y位小数的
2021-07-18 02:04:01
110
1
原创 mysql数据库
一、数据库的基本概念数据描述事务的符号记录包括数字,文字、图形、图像、声音、档案记录等以“记录”形式按统一的格式进行存储表将不同的记录组织一起用来存储具体数据数据库表的集合,是存储数据的仓库以一定的组织方式存储的相互有关的数据集合数据库管理系统(DBMS)是实现对数据库资源有效组织、管理和存取的系统软件数据库系统是一个人机系统,由硬件、OS、数据库、DBMS、应用软件和数据库用户组成用户可以通过DBMS或应用程序操作数据库数据库表中行是记录,列是字段每一行称为一个记录,用
2021-07-12 01:31:00
195
1
原创 Tomcat
Tomcat的组成tomcat由一系列的组件构成,其中核心的组件由三个:1、web容器:完成web服务器的功能HTTP、HTTPS请求的接受和响应2、Servet容器:由名称为catalina的脚本来处理servlet代码(具体的一个任务,从数据库中拿取数据给予前端)3、JSP容器:用于经JSP动态网页翻译成Servlet代码index.html、index.php、index.jsp通常意义上的web服务器接受请求后,只是单纯地响应静态资源,如HTML文件,图片文件等,不能在后端进行一定的处理操
2021-07-08 03:00:35
357
原创 nginx rewrite(跳转)
一、为什么要弄rewrite跳转1、为了使URL看起来更规范、合理2、将动态URL伪装成静态地址提供服务3、网址换新域名后,让旧的访问跳转到新的域名上4、服务端某些业务调整二、Rewrite跳转实现Nginx:由ngx_http_rewrite_module模块管理的 ,需要开启支持URL重写、支持if条件判断,但不支持else。PCRE支持:perl兼容正则表达式的语法规则匹配。跳转:从一个location跳转到另一个location,循环最多可以执行10次,超过后nginx将返回500错
2021-07-04 21:05:37
530
3
原创 nginx优化与防盗链
一、nginx隐藏版本1、查看方法curl -I http://192.168.100.22 查看头部信息或者进入网页F12,选择Network ,选择header,即可看到版本号2、隐藏方法修改配置文件vim /usr/local/nginx/conf/nginx.conf17 http { 18 include mime.types; 19 default_type application/octet-stream; 20 se
2021-06-30 16:16:07
115
1
原创 LNMP部署
LNMP平台就是Linux、Nginx、MySQL、PHP的组合架构,需要Linux服务器、MySQL数据库、PHP解析环境动静分离:Nginx与PHP的FPM连接配置LNMP一、关闭防火墙、核心防护二、安装Nginx服务1、 安装环境依赖包[root@localhost ~]# yum -y install gcc gcc-c++ pcre-devel zlib-devel make2、创建运行用户、组useradd -M -s /sbin/nologin nginx3、编译
2021-06-28 11:38:53
92
原创 Nginx基础配置、访问控制、虚拟主机
一、编译安装Nginx1、关闭防火墙,上传nginx软件包到/opt目录下2、解压安装包[root@localhost opt]# tar -xzf nginx-1.12.2.tar.gz 3、安装依赖包 yum -y install gcc gcc-c++ pcre-devel zlib-devel make4、编译安装Nginx,并启动nginx[root@localhost opt]# cd nginx-1.12.2/[root@localhost nginx-1.12.
2021-06-25 12:21:19
152
1
原创 Apache虚拟主机、分割日志、保持长连接
apache虚拟主机解决在一台主机上可以使用不同的域名、端口和IP来提高不同的服务一、基于域名访问虚拟主机为每个虚拟主机使用不用的域名,但是其对应的IP地址是相同的。域名不同 IP相同 端口相同。基于域名是最为普遍的虚拟web主机类型。1、为虚拟主机提供域名解析方法一: 部署DNS域名解析服务器,来提供域名解析方法二: 在/etc/hosts 文件中临时配置域名与IP 地址的映射关系echo "192.168.100.22 www.benet.com" >> /etc/host
2021-06-23 12:22:00
171
1
原创 LAMP框架搭建
LAMP框架是由Linux、Apache+Mysql+PHP组成的框架,一一对应首字母。Linux:提供操作系统支持/提供一个环境支持Apache:提供的是静态页面的请求PHP:处理动态页面的请求MySQL:持久化保存数据/状态信息Apache主要特点:开放源代码、跨平台应用,支持多种网页编程语言HTML、HTML5,模块化设计、运行稳定、良好的安全性。搭建LAMP架构1、卸载httpd及相关依赖包rpm -e httpd --nodeps //消除残存文件,避免程序冲突2、安
2021-06-23 02:33:02
351
1
原创 web基础与http协议
一、web基础1.1 域名域名的结构域名由英文字母和数字组成,每一组不超过63个字母,也不区分大小写字母,除连字符(-)外不能使用其他标点符号,级别最低的域名在最左边,级别最高的在最右边,一个完整的域名最多不超多255个字符。域名结构类型1、根域:根服务器,用来管理互联网的主目录,全球共13个,负责全球互联网域名根服务器、域名体系和ip地址等的管理2、顶级域:包括组织域名和国家/地区域名。(.cn 中国 .jp 日本 .com 商业机构 .net 网络组织 .org 用于各种组织
2021-06-22 02:12:57
147
原创 shell编程之iptables
Linux包过滤防火墙概述netfilter1、位于Linux内核中的包过滤功能体系2、称为Linux防火墙的“内核态”iptables1、位于/sbin/iptables,用来管理防火墙规则的工具2、称为Linux防火墙的“用户态”netfilter工作在底层,iptables工作在表层的工具实则还是调控的netfilter。包过滤的工作层次主要是网络层,针对IP数据包体现在对包内的IP地址、端口等信息的处理上iptables的表、链结构1、规则表表的作用:容纳各种规则链表的划
2021-06-20 15:18:21
402
原创 shell编程之免交互
Here Document概述使用I/O重定向的方式将命令列表提供给交互式程序标准输入的一种替代品命令 <<标记......标记插入文件之中cat > yum.repo <<EOF (>是覆盖,如果是>>就是追加)......EOFcat <<-EOF 有-就内容前行缩进......EOF 免交互创建磁盘分区read a <<EOF220EOF:<<
2021-06-16 13:52:29
83
原创 shell编程之sort、uniq、tr
sort依据不同的数据类型进行排序sort [选项] 参数常用选项:-f : 忽略大小写-b :忽略每行前面的空格-M : 按照月份进行排序-n :按照数字进行排序-r :反向排序-u :等同于uniq,表示相同的数据仅显示一行-t :指定分隔符,默认使用【Tab】键分隔-o <输出文件> :将排序后的结果转存至指定文件-k :指定排序区域如果不 -n,默认按ASCLL码排序cat /etc/passwd | sortcat /etc/passwd | so
2021-06-16 09:23:44
359
原创 shell编程之awk
awk命令awk '{print}' xx.txt 打印所有行awk '{print $1}' xx.txt 打印第一列awk '{print $0}' xx.txt 打印所有列awk -F: '{print $1}' xx.txt 以冒号为分隔符打印打印第一列awk -F: '{print $1,$2}' xx.txt 以冒号为分隔符打印打印第一列、第二列 (,起到输出中间空格效果或者用" ")awk -F: '{print NF}' xx.txt 打印每行有多少列数
2021-06-15 19:54:07
135
原创 shell编程之sed
正则表达式定义1、正则表达式,又称正则表达式、常规表达式2、使用字符串来描述、匹配一系列符合某个规则的字符串3、正则表达式组成普通字符大小写字母、数字、标点符号及一些其他符号元字符在正则表达式中具有特殊意义的专用字符正则表达式基础元字符\: 转义字符,\!、\n等^: 匹配字符串开始的位置 例:^a、^the、^#$:匹配字符串结束的位置 例:word$.: 匹配除\n之外的任意的一个字符 例:go.d、g..d*: 匹配前面子表达式0次或者多次 例:goo*d、g
2021-06-15 09:54:01
99
原创 Shell函数和数组
一、什么是shell函数将命令序列按格式卸载一起可方便重复使用命令序列shell函数定义1、[ function ]函数名(){ 命令序列 [return x]}2、函数名(){ 命令序列}3、function 函数名 {...}使用return或exit可以显式地结束函数调用函数的方法函数名 [参数1] [参数2]1、函数要调用必须要在脚本之前2、在脚本中其他地方调用函数的情况下需要反引号 括起来函数引用位置变量local 变量赋值 不会影响到全局
2021-06-14 12:31:12
45
原创 Shell编程之循环语句
for循环第一种for 变量名 in 取值列表do 命令序列done第二种for((i=1;i<4;i++))do 命令序列done可以{1…$a}引入变量1 2 3 4 5 可以换成任意参数
2021-06-09 23:25:49
317
2
原创 Shell之if语句
if语句结构双括号可以搭配&&和||进行判断,也可以进行模式匹配,类似通配符…单分支结构if 条件测试操作 then 命令序列fi或者if 条件测试操作;then 命令序列fi如果条件测试是正确的,即0.就执行then下面的命令序列再执行fi下面的,否则直接结束执行fi下面的if里面命令序列不可以用命令别名双分支结构if 条件测试操作 then 命令序列1 else 命令序列2fi多分支结构if 条件测试操作1 then 命令序列1elif 条
2021-06-08 18:48:02
59
原创 shell编程之条件语句
test 命令测试表达式是否成立,若成立返回0,否则返回其他数值test 条件表达式或[ 条件表达式 ] 注意 这种形式[ ] 里面左边和右边都要有空格[ $a == $b ] && echo y || echo n &&代表成功就运行这个 || 表示错误就运行这个``非常重要:::字符串就用==和!=, 数字用底下列表的-eq 第一个数等于第二个数-ne 第一个数不等于第二个数-gt 第一个数大于第二个数-lt 第一个数
2021-06-07 00:41:49
80
原创 Shell基础
一、什么是shell脚本shell是一种命令解释器,用来解释一系列命令,而shell脚本就是很多个命令组合成的文件。shell脚本的概念1、将要执行的命令按顺序保存到一个文本文件2、给该文件可执行权限3、可结合各种shell控制语句以完成更复杂的操作shell脚本应用场景1、重复性操作2、交互性任务3、批量事务处理4、服务运行状态监控5、定时任务执行等等...
2021-06-06 17:31:36
82
1
原创 PXE高效批量网络装机
一、什么是PXE?PXE是预启动的引导程序,在操作系统之前运行,比如说有一台PXE服务器,其他客户机可以从PXE服务器上获得引导程序自动安装系统、服务端1、运行DHCP服务,用来分配地址、定位引导程序2、运行TFTP服务,提供引导程序下载客户端1、网卡支持PXE协议2、主板支持网络引导二、PXE批量部署的优点1、规模化:同时装配多台服务器2、自动化:安装系统、配置各种服务3、远程实现:不需要光盘、U盘等安装介质三、PXE服务器工作步骤1、客户端向dhcp服务器发送广播请求ip地址
2021-06-04 01:45:47
82
1
原创 部署YUM仓库及NFS共享服务
一、什么是FTP?FTP(File Transfer Protocol,文件传输协议) 是 TCP/IP 协议组中的协议之一,也是典型的C/S架构的应用层协议。FTP协议包括两个组成部分,其一为FTP服务器,其二为FTP客户端。其中FTP服务器用来存储文件,用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源。FTP是一种文件传输协议,他支持两种模式,一种方式叫做Standard主动模式,一种是Passive被动模式。TCP 20、21端口 ,20端口用于传输数据,21端口用于建立连接。
2021-06-02 01:06:59
236
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人