自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(107)
  • 收藏
  • 关注

原创 k8s集群调度、亲和性、污点和容忍、pod状态、排障步骤

Kubernetes 是通过 List-Watch 的机制进行每个组件的协作,保持数据同步的,每个组件之间的设计实现了解耦。用户是通过 kubectl 根据配置文件,向 APIServer 发送命令,在 Node 节点上面建立 Pod 和 Container。APIServer 经过 API 调用,权限控制,调用资源和存储资源的过程,实际上还没有真正开始部署应用。这里需要 Controller Manager、Scheduler 和 kubelet 的协助才能完成整个部署过程。

2023-01-30 13:16:18 1410

原创 Pod进阶(资源限制、容器探针、容器启动退出动作)

当定义 Pod 时可以选择性地为每个容器设定所需要的资源数量。最常见可设定资源是 CPU 和内存大小,以及其他类型的资源。当为 Pod 中的容器指定了 request资源时,调度器就使用该信息来决定将 Pod 调度到哪个节点上。当还为容器指定了limit资源时,kubelet 就会确保运行的容器不会使用超出所设的 limit 资源量。kubelet 还会为容器预留所设的 request 资源量,供该容器使用。

2023-01-28 16:59:49 1134 1

原创 Pod详解(Pod使用、容器分类、镜像拉取和容器重启策略)

Pod是kubernetes中最小的资源管理组件,Pod也是最小化运行容器化应用的资源对象。一个Pod代表着集群中运行的一个进程。kubernetes中其他大多数组件都是围绕着Pod来进行支撑和扩展Pod功能的,例如,用于管理Pod运行的StatefulSet和Deployment等控制器对象,用于暴露Pod应用的Service和Ingress对象,为Pod提供存储的PersistentVolume存储资源对象等。

2023-01-27 20:06:49 3721

原创 yaml 资源配置清单使用详解——k8s声明式资源管理

kubectl expose deployment 服务名称 --port=服务端口 --target-port=pod端口 --type=端口类型 --dry-run=client -o yaml > xxx.yaml。kubectl create deployment 名称 --image=镜像 --port=容器端口 --replicas=n --dry-run=client -o yaml > xxx.yaml。# --dry-run=client 可以实现空跑一个容器,不会实际创建(用于测试)

2022-12-23 16:13:29 4091

原创 Kubectl 使用详解——k8s陈述式资源管理

kubectl是官方的CLI命令行工具,用于与apiserver进行通信,将用户在命令行输入的命令,组织并转化为apiserver能识别的信息,进而实现管理k8s各种资源的一种有效途径。对资源的增、删、查操作比较方便,但对改的操作就不容易了。kubectl的命令大全:kubectl --helpk8s中文文档: http://docs.kubernetes.org.cn/683.html二、kubectl 的使用。

2022-12-23 16:13:11 2118 3

原创 Kubeadm 部署 k8s 集群

创建service account并绑定默认cluster-admin管理员集群角色,获取token。#--upload-certs 参数可以在后续执行加入节点时自动分发证书文件。#tee kubeadm-init.log 用以输出日志。ipvsadm --clear(需要先下载ipvsadm)如果初始化失败,检查问题,并执行以下操作后,重新初始化。浏览器访问https://hub.abc.com。#查看初始化需要的镜像。#获取初始化模板文件。

2022-12-12 18:01:37 1004 1

原创 Kubernetes双主集群的部署(二)

Dashboard 是基于网页的 Kubernetes 用户界面。你可以使用 Dashboard 将容器应用部署到 Kubernetes 集群中,也可以对容器应用排错,还能管理集群资源。你可以使用 Dashboard 获取运行在集群中的应用的概览信息,也可以创建或者修改 Kubernetes 资源 (如 Deployment,Job,DaemonSet 等等)。例如,你可以对 Deployment 实现弹性伸缩、发起滚动升级、重启 Pod 或者使用向导创建新的应用。

2022-12-11 18:53:27 1567

原创 Kubernetes单主集群的部署(一)

CFSSIL使用配置文件生成证书,因此自签之前,需要生成它识别的json格式的配置文件,CFSSL提供了方便的命令行生成配置文件。#检查到 node01 节点的 kubelet 发起的 CSR 请求,Pending表示等待集群给该节点签发证书。etcd集群节点1:192.168.116.10(etcd集群原则上单独部署,此实验为方便部署在节点上)集群中以逗号分隔的机器地址列表cluster-health: 检查etcd集群的运行状况。将cfssl生成的证书(json格式)变为文件承载式证书。

2022-12-09 15:54:32 960

原创 Kubernetes(k8s) 架构原理一文详解

目录一、k8s 概述1.什么是k8s?2.特性3.主要功能三、集群架构与组件1.Master 组件(1)Kube-apiserver(2)Kube-controller-manager(3)Kube-scheduler2.配置存储中心3.Node 组件(1)Kubelet(2)Kube-Proxy(3)docker 或 rocket四、k8s的工作流程五、k8s的资源对象1.Pod2.Pod 控制器2.Label3.Label 选择器(Label selector)4.Service5.Ingress6.N

2022-12-07 18:54:20 16198 2

原创 Ansible之playbook详解和应用实例

Ansible Playbook 是设定自动化任务的一种蓝图,可在无需人工干预或有限干预的前提下执行复杂的 IT 操作。Ansible Playbook 对一组或一类共同构成 Ansible 清单的主机执行。 Ansible Playbook 本质上是一些框架,是一些预先编写的代码,开发人员可以用作临时模板或起始模板。Ansible Playbook 常被用于自动化 IT 基础架构(例如,操作系统和 Kubernetes 平台)、网络、安全系统,以及开发人员角色(例如 Git)。

2022-12-06 16:09:51 1592

原创 Ansible 自动化运维工具的使用

目录一、Ansible简介二、Ansible 的安装和使用1.下载2.使用三、Ansible命令和模块1.命令格式2.命令行模块(1)command 模块(2)shell 模块(3)cron 模块(4)user 模块(5)group 模块(6)copy 模块(7)file 模块(8)hostname 模块(9)ping 模块 (10)yum 模块(11)service/systemd 模块(12)script 模块四、inventory 主机清单1.主机名和端口2.inventory 中的变量(1)设置主机

2022-12-04 14:42:21 405

原创 Docker harbor 私有仓库的部署和管理

Harbor 是 VMware 公司开源的企业级 Docker Registry 项目,其目标是帮助用户迅速搭建一个企业级的 Docker Registry 服务。Harbor以 Docker 公司开源的 Registry 为基础,提供了图形管理 UI 、基于角色的访问控制(Role Based AccessControl) 、AD/LDAP 集成、以及审计日志(Auditlogging) 等企业用户需求的功能,同时还原生支持中文。

2022-11-30 18:54:47 168

原创 Docker consul容器服务自动发现和更新

服务注册与发现是微服务架构中不可或缺的重要组件。起初服务都是单节点的,不保障高可用性,也不考虑服务的压力承载,服务之间调用单纯的通过接口访问。直到后来出现了多个节点的分布式架构,起初的解决手段是在服务前端负载均衡,这样前端必须要知道所有后端服务的网络位置,并配置在配置文件中。这里就会有几个问题既然有这些问题,那么服务注册与发现就是解决这些问题的。后端服务A-N可以把当前自己的网络位置注册到服务发现模块,服务发现就以K-V的方式记录下来,K一般是服务名,V就是IP:PORT。

2022-11-28 17:45:25 329

原创 Docker-compose详解和LNMP搭建实战

Docker-Compose项目是Docker官方的开源项目,负责实现对Docker容器集群的快速编排。Docker-Compose将所管理的容器分为三层,分别是工程(project),服务(service)以及容器(container)。Docker-Compose运行目录下的所有文件(docker-compose.yml,extends文件或环境变量文件等)组成一个工程,若无特殊指定工程名即为当前目录名。一个工程当中可包含多个服务,每个服务中定义了容器运行的镜像、参数、依赖。

2022-11-27 12:38:33 966

原创 镜像底层原理详解和基于Docker file创建镜像

Docker镜像是一个特殊的文件系统,除了提供容器运行时所需的程序、库、资源、配置等文件外,还包含了一些为运行时准备的一些配置参数 (如匿名卷、环境变量、用户等)。镜像不包含任何动态数据,其内容在构建之后也不会被改变。镜像的定制实际上就是定制每一层所添加的配置文件。如果我们可以把每一层修改、安装、构建、操作的命令都写入一个脚本,用这个脚本来构建、定制镜像,那么镜像构建透明性的问题、体积的问题就都会解决。这个脚本就是Dockerfile。

2022-11-24 12:24:59 1338

原创 Docker数据管理

数据卷是一个供容器使用的特殊目录,位于容器中。可将宿主机的目录挂载到数据卷上,对数据卷的修改操作立刻可见,并且更新数据不会影响镜像,实现数据在宿主机与容器之间的迁移。如果需要在容器之间共享一些数据,最简单的方法就是使用数据卷容器。数据卷容器是一个普通的容器,专门提供数据卷给其他容器挂载使用。容器互联是通过容器的名称在容器间建立一条专门的网络通信隧道。简单点说,就是会在源容器和接收容器之间建立一条隧道,补:不论是数据卷还是数据卷容器,都可以在指定容器目录时加上 :ro 代表只读。

2022-11-23 22:09:13 667

原创 Docker的Cgroup资源限制

Docker通过Cgroup来控制容器使用的资源配额,包括 CPU、内存、磁盘三大方面,基本覆盖了常见的资源配颡和使用量控制。Cgoup 是CotrolGroups 的缩写,是Linux 内核提供的一种可以限制、记录、隔高进程组所使用的物理资源(如CPU、内存、磁盘 IO 等等)的机制,被LXC、docker等很多项目用于实现进程资源控制。cgroup 本身是提供将进程进行分组化管理的功能和接口的基础结构,IO或内存的分配控制等具体的资源管理是通过该功能来实现的。

2022-11-23 11:58:07 1275

原创 Docker网络管理

直接使用brige模式,是无法指定ip运行docker的,只会根据docker0的网段随机分配ip,如执行以下操作,会报错提示只能在自定义的网络中指定ip地址。先自定义网络,再指定ip运行docker(1)自定义网络模式docker network create --subnet=网段/掩码 --opt "com.docker.network.bridge.name"="docker1" 网络名称(2)运行容器,指定此网络模式,指定ip进入容器,先下载net-tools,使用ifconfig查看ip。

2022-11-22 22:06:56 874

原创 Docker基本管理

是一个开源的应用容器引擎,基于go语言开发并遵循了apache2.0协议开源;是在Linux容器里运行应用的开源工具;是一种轻量级的“虚拟机”;Docker的容器技术可以在一台主机上轻松为任何应用创建一个轻量级的、可移植的、自给自足的容器。Docker的Logo设计为蓝色鲸鱼,拖着许多集装箱。鲸鱼可看作为宿主机,集装箱可理解为相互隔离的容器,每个集装箱中都包含自己的应用程序。

2022-11-21 14:12:01 624

原创 Zabbix监控系统详解及配置

zabbix是一个基于 web 界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数,保证服务器系统的安全运营,并提供灵活的通知机制以让系统管理员快速定位、解决存在的各种问题。zabbix由两部分构成,zabbix server与可选组件zabbix agent。通过c/s 模式采集数据,通过b/s 模式在web端展示和配置。

2022-11-18 13:43:28 9295 3

原创 EFLFK——ELK日志分析系统+kafka+filebeat架构(3)

附kafka消息队列nginx服务器配置filebeat收集日志:192.168.116.40,修改配置将采集到的日志转发给kafka;kafka集群:192.168.116.10,192.168.116.20,192.168.116.30(生产和消费端口9092);logstash+kibana:192.168.116.50,修改配置从kafka中消费日志,并输出到kibana前端展示;

2022-11-16 20:39:14 1792

原创 zookeeper+kafka分布式消息队列集群的部署

Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。主要原因是由于在高并发环境下,同步请求来不及处理,请求往往会发生阻塞。比如大量的请求并发访问数据库,导致行锁表锁,最后请求线程会堆积过多,从而触发 too many connection 错误,引发雪崩效应。我们使用消息队列,通过异步处理请求,从而缓解系统的压力。消息队列常应用于异步处理,流量削峰,应用解耦,消息通讯等场景。

2022-11-16 16:49:18 1017

原创 ELFK——ELK结合filebeat日志分析系统(2)

在ELK中,Logstash 负责收集日志,将日志格式化并输出到 Elasticsearch 群集中;Elasticsearch 对格式化后的数据进行索引和存储;Kibana 从 ES 群集中查询数据生成图表,并进行前端数据的展示。

2022-11-15 19:29:43 587

原创 ELK 企业级日志分析系统(1)

ELK平台是一套完整的日志集中处理解决方案,将、Logstash和Kiabana三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。ElasticSearch:是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。Elasticsearch 是用 Java 开发的,可通过 RESTful Web 接口,让用户可以通过浏览器与 Elasticsearch 通信。

2022-11-13 18:30:14 1384

原创 rsync远程同步

rsync(Remote sync,远程同步)是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,并保持链接和权限,且采用优化的同步算法,传输前执行压缩,因此非常适用于异地备份、镜像服务器等应用。在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中,同步源负责提供文件的原始位置,发起端应对该位置具有读取权限。

2022-11-11 11:39:33 701

原创 Redis高可用(主从复制、哨兵模式和Cluster集群)

集群,即Redis Cluster,是Redis 3.0开始引入的分布式存储方案。集群由多组节点(Node)组成,Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点:只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制。

2022-11-10 09:03:44 674

原创 Squid缓存代理服务器

acl 列表名称 列表类型 列表内容#在配置文件中指定使用配置项acl localhost src 192.168.110.10/24 #源地址为 192.168.80.10acl MYLAN src 192.168.116.0/24 192.168.1.0/24 #客户机网段acl destinationhost dst 192.168.80.13/32 #目标地址为 192.168.80.13acl MC20 maxconn 20 #最大并发连接 20。

2022-11-08 12:22:05 1214

原创 Redis持久化

在web服务器中,高可用是指服务器可以正常访问的时间,衡量的标准是在多长时间内可以提供正常服务。(99.9%、99.99%、99.999%等等)2个9:99%=1%365=3.6524h=87.6h4个9:99.99%=0.01%36524*60=52.56min5个9:99.999%=0.001%*365=5.265min11个9:几乎一年宕机时间只有几分钟。

2022-11-06 22:17:42 337

原创 Redis概述及安装、使用和管理

NoSQL (Not Only SQL),是非关系型数据库的总称。除了主流的关系型数据库外的数据库,都认为是非关系型。不需要预先建库建表定义数据存储表结构,每条记录可以有不同的数据类型和字段个数(比如微信群聊里的文字、图片、视频、音乐等)。主流的 NoSQL数据库有 Redis、MongBD、Hbase、Memcached、ElasticSearch、TSD等。Redis(远程字典服务器)是一个开源的、使用c语言编写的 NoSQL数据库。

2022-11-06 20:56:51 503

原创 Mysql主从复制的三种同步方式和半同步复制配置

5.6 版本的半同步复制,dump thread 承担了两份不同且又十分频繁的任务:传送binlog 给 slave ,还需要等待 slave 反馈信息,而且这两个任务是串行的,dump thread 必须等待 slave 返回之后才会传送下一个 events 事务。当半同步复制发生超时(由rpl_semi_sync_master_timeout参数控制,默认为10000ms,即10s),会暂时关闭半同步复制,转而使用异步复制,也就是会自动降为异步工作。#可以理解为"后来的先到了,而先来的还没有到的次数"

2022-11-05 17:01:55 4068

原创 Mysql群集MHA高可用配置

MHA(Master High Availability) 是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。MHA的出现就是解决MySQL单点故障的问题。MySQL故障切换过程中,MHA能做到0-30秒内自动完成故障切换操作。MHA能在故障切换的过程中最大程度上保证数据的一致性,以达到真正意义上的高可用。

2022-11-05 16:31:45 560

原创 Mysql主从复制和读写分离

基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

2022-11-01 19:29:38 155

原创 SQL函数和高级语句

SELECT `字段1` FROM `表1名` WHERE `字段2` [比较运算符] ( SELECT `字段1` FROM `表2名` WHERE 条件表达式);SELECT `字段名` [聚合函数(`字段名`)] FROM `表名` GROUP BY `字段名` HAVING 条件;SELECT * FROM `表1名` A INNER JOIN `表2名` B ON A.`字段`=B.`字段`;SELECT `字段名` [聚合函数(`字段名`)] FROM `表名` GROUP BY `字段名`;

2022-11-01 12:55:00 509

原创 Mysql数据库日志和数据的备份恢复

是对整个数据库、数据库结构和文件结构的备份;保存的是备份完成时刻的数据库;是差异备份与增量备份的基础。

2022-10-27 19:52:06 756

原创 Mysql数据库之存储引擎

MySQL中的数据用各种不同的技术存储在文件中,每一种技术都使用不同的存储机制、索引技巧、锁定水平并最终提供不同的功能和能力,这些不同的技术以及配套的功能在MySQL中称为存储引擎。存储引擎是MySQL将数据存储在文件系统中的存储方式或者存储格式。MySQL数据库中的组件,负责执行实际的数据I/O操作。MySQL系统中,存储引擎处于文件系统之上,在数据保存到数据文件之前,会传输到存储引擎,之后按照各个存储引擎的存储格式进行存储。

2022-10-26 09:37:03 1456

原创 Mysql数据库之事务

是一种机制、一个操作序列,包含了一组数据库操作命令,并且把所有的命令作为一个整体一起向系统提交或撤销操作请求,即。是一个不可分割的工作逻辑单元,在数据库系统上执行并发操作时,。适用于多用户同时操作的数据库系统的场景,如银行、保险公司及证券交易系统等等。通过事务的整体性以保证数据的一致性。

2022-10-25 18:42:35 879

原创 Mysql数据库之索引

索引是一个排序的列表,在这个列表中存储着和包含(类似于c语言的链表通过指针指向数据记录的内存地址)。使用索引后可以不用扫描全表来定位某行的数据,而是先到该行数据对应的物理地址然后访问相应的数据,因此能加快数据库的查询速度。索引就好比是一本书的目录,可以根据目录中的页码快速找到所需的内容。索引是表中一列或者若干列值排序的方法。建立索引的目的是加快对表中记录的查找或排序。

2022-10-24 23:03:33 752

原创 Mysql数据库管理

CREATE USER '用户名'@'来源地址' IDENTIFIED BY '密码';是指定用户在那些主机登录,可使用ip地址、网段、主机名的形式;本地用户可用 localhost;允许任意主机登录可用通配符 %若使用明文密码,直接输入'密码',插入到数据库时由Mysql自动加密;若使用加密密码,需要先使用SELECT PASSWORD('密码'),获取密文,再在语句中添加PASSWORD'密文;若省略"IDENTIFIED BY"部分,则用户的密码将为空(可在配置文件设置不允许空设密码)

2022-10-23 18:46:06 547

原创 Mysql数据库的权限汇总

允许使用CREATE USER,DROP USER,RENAME USER 和 REVOKE ALL PRIVILEGESDELETEDROP。

2022-10-23 18:38:10 205

原创 Mysql数据库基础和增删改查操作

数据:描述事物的符号记录,包括数字,文字、图形、图像、声音、档案记录等,以“记录”形式按统一的格式进行存储。表:将不同的记录组织在一起用来存储具体数据。数据库:表的集合,是存储数据的仓库,以一定的组织方式存储的相互有关的数据集合,是按照数据结构来组织、存储和管理数据的仓库。数据库管理系统(DBMS):是实现对数据库资源有效组织、管理和存取的系统软件。数据库的建立和维护功能、数据定义功能、数据操纵功能、数据库的运行管理功能、通信功能数据库系统:是一个人机系统,由硬件、OS、数据库、DBMS

2022-10-23 16:06:31 1057 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除