自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(111)
  • 收藏
  • 关注

原创 云原生之K8S------K8S持久化存储PV、PVC

查看PV的定义方式FIELDS:metadata: #由于 PV 是集群级别的资源,即 PV 可以跨 namespace 使用,所以 PV 的 metadata 中不用配置 namespacename:spec查看PV定义的规格spec:nfs:(定义存储类型)path:(定义挂载卷路径)server:(定义服务器名称)accessModes:(定义访问模型,有以下三种访问模型,以列表的方式存在,也就是说可以定义多个访问模式)

2022-11-10 16:52:31 2285 3

原创 云原生之K8S------list-watch机制,调度约束以及故障排查

1,kubernetes是通过list-watch的机制进行每个组件的动作,保持数据同步的,每个组件之间的设计实现了解耦。2,用户是通过kubelet根据配置文件,向apiserver发送命令,在node节点上面建立pod和container。APIserver经过API调用,权限控制,调用资源和存储资源的过程,实际上还没有真正开始部署应用,这里需要controller manager,scheduler和kubelet的协助才能完成整个部署过程。

2022-11-08 18:53:54 1844 6

原创 云原生之K8S------k8s资源限制及探针检查

健康检查又称为探针,是由kubelet对容器的定期诊断。探针分为3种判断容器是否正常运行,如果失败则杀掉容器(不是pod),再根据重启策略是否重新启动容器判断容器是否能够进入ready状态,探针失败则进入noready状态,并从service的endpoints中剔除此容器判断容器内的应用是否启动成功,在success状态之前,其他探针都处于无效状态。

2022-11-08 01:18:17 1380

原创 云原生之K8S------Pod的基础概念

在一个pod中同时运行多个容器,一个pod中也可以同时封装几个需要紧密耦合相互协作的容器,他们之间共享资源,这些在同一个pod中的容器可以互相协作成为一个service单位,比如一个容器共享文件,另一个sidecar 容器来更新这些文件,pod将这些容器从存储资源作为一个实体来管理。一个pod中运行一个容器:没有pod中一个容器的模式是最常见的用法,在这种使用方式中,你可以把pod现象成是单个容器的封装,kubernetes 管理的是pod而不是直接管理容器。, pod也是最小化运行容器化应用的资源对象,

2022-11-08 01:18:02 1175

原创 云原生K8S------Yaml文件详解

没有相关资源,使用--dry-run 选项已有相关资源,使用get命令-export选项。

2022-11-07 08:56:51 1771

原创 云原生之K8S------K8S亲和,反亲和、污点、容忍

一般情况下,我们部署的pod是通过的自动调度策略来选择节点的,默认情况下调度器考虑的是资源足够,并且负载尽量平衡,但是有的时候需要能够更加细粒度的去控制Pod的调度,比如我们内部的一些服务gitlab 之类的也是跑在kubernetes集群上的,我们就不希望对外的的一些服务和内部的服务跑在同一节点上了,担心内部服务对外部服务产生影响;但我们可以在Pod上设置容忍(Toleration),意思是设置了容忍的Pod将可以容忍污点的存在,可以被调度到存在污点的Node上。

2022-11-05 09:06:08 1959 18

原创 云原生之K8S------K8S管理工具 kubectl详解(二)

NodePort:在每个Node上打开一个端口以供外部访问,Kubernetes将会在每个Node上打开一个端口并且每个Node的端口都是一样的,通过NodeIP:NodePort的方式。为Deployment的nginx创建Service,并通过Service的80端口转发至容器的80端口上,Service的名称为nginx-service,类型为NodePort'处于动态监听pod状态,由于使用的是滚动更新方式,所以会先生成一个新的pod,然后删除一个旧的pod,往后以此类推。查看nginx当前版本。

2022-11-03 22:23:01 1720

原创 云原生K8S------K8S管理工具kubectl详解(一)

resource可以是具体资源名称,如“pod nhinx-xxx”;也可以是资源类型,如“pod,node,svc,deploy”多种资源使用逗号间隔;或者all(仅显示包含app标签,并不完整)可通过TAB键实现命令补全,建议将其写入/etc/profile。获取资源的相关信息,-n指定命名空间,-o指定输出格式。

2022-11-01 18:22:51 1961

原创 云原生之K8S------kubernetes核心组件

k8s首先对集群化的容器进行批量管理(增,删,改,查)

2022-11-01 01:04:23 1087

原创 云原生之K8S------Kubernetes搭建

node 节点加入集群需要生成的 token,token 有效期为 24 小时,过期需要重新创建。节点显示 NotReady 状态,需要安装网络插件。

2022-10-31 21:10:37 875 1

原创 云原生之k8s--------Kubernetes原理

首先,运维人员使用kubectl命令行工具向API Server发送请求,API Server接收到请求后会写入到etcd中,API Server会让Controller-manager按照预设的模板去创建pod,Controller-manager通过API Server读取etcd中用户的预设信息,再通过API Server去找Scheduler可以为新创建的pod选择最合适的node节点。的工作负载和服务,可促进声明式配置和自动化。4,K8S的自我修复机制使得容器集群总是运行在用户期望的状态。

2022-10-30 19:11:55 1837 15

原创 Prometheus部署,操作,及Grafana展示

prometheus下载地址:2.1 上传prometheus到、opt目录中,解压 通过http:// 192.168.135.195/metrics 可以查看到监控的数据:在远程linux主机(被监控端agent)上安装node_exporter组件下载地址1.1上传node_exporter到opt目录中,并且解压 改完配置文件后,重启服务 回到 web 管理界面→点 Status→点 Targets→可以看到多了一台监控目标 注:

2022-10-26 14:59:11 953

原创 Prometheus原理详解

Prometheus是一个开源的服务监控系统和时序性数据库,其提供了通用的数据模型和快捷数据采集,存储和查询接口。他的核心组件Prometheus server会定期从静态配置的监控目标或者基于服务发现自动配置的目标中进行数据拉取,当新拉取到的数据大于配置的内存缓存区时,数据就会持久化存储到设备当中。

2022-10-25 00:46:38 2733

原创 Ceph分布式存储

ceph 是一种统一的分布式文件系统,具有优秀的性能、高可用性和可扩展性。ceph 的统一体现在可以提供文件系统、块存储和对象存储,分布式体现在可以动态扩展。在国内一些公司的云环境中,通常会采用 ceph 作为 openstack 的唯一后端存储来提高数据转发效率。

2022-10-24 00:37:34 1336

原创 Docker【容器】------Consul部署

template模板(更新)registrator(自动发现)后端每构建出一个容器是,会向registrator进行注册,控制consul完成更新操作,consul会触发consultemplate模板进行热更新核心机制:consul:自动发现,自动更新,为容器提供服务(添加,删除,生命周期)

2022-10-23 22:55:32 837

原创 Docker【容器】------harbor私有仓库部署与管理

harbor是vmware公司开源的企业家Docker Registry项目,其目标是帮助用户迅速搭建一个企业级的Docker Registry服务harbor以docker 公司开源的registry 为基础 ,提供了图形管理UI,基于角色的控制访问(Rolebased Access Control),AD/LDAI们成以心宙计日志(Auditlogging)等企业用户需求的功能,同时还原生支持中文。Harbor的每个组件都是以Docker容器的形式构建的。

2022-10-21 17:38:03 873

原创 Docker【容器】------docker-compose

Docker-compose项目是基于Python开发的Docker官方开源项目,负责实现对Docker容器集群的快速编排。Docker-Compose将所以管理的容器分为三层,分别是工程(project),服务(service)以及容器(container)。1,Docker-compose运行目录下的所以文件(docker-compose.yml,extends文件或者环境变量文件等,)组成一个工程,若无特殊指定工程名即为当前目录名。

2022-10-21 16:41:51 1227

原创 Docker容器------ Cgroup 资源配置方法

cgroups是一个非常强大的linux内核工具。他不仅可以现在被namespace隔离起来的资源,还可以为资源设置权重,计算使用量,控制进程启停等等,所以cgroups实现了对资源的配额和度量。

2022-10-20 23:26:55 932

原创 Docker容器 ------ 搭建本地私有仓库

【代码】Docker容器------搭建本地私有仓库。

2022-10-20 14:54:27 1150

原创 Docker容器------dockerfile构建镜像

要想了解cmd和entrypoint的区别,首先必须了解到exec模式和shell模式的区别。

2022-10-20 14:53:42 2021

原创 Docker容器------数据卷和数据卷容器

本文介绍了通过数据卷和数据卷容器对容器内数据进行共享、备份和恢复等操作,通过这些机制,即使容器在运行中出现故障,用户也不必担心数据发生丢失,只需要快速地重新创建容器即可。在生成容器的同时,加上-v选项,指定把当前服务器的目录映射到容器中命令说明docker run -v 数据卷创建数据卷docker run -v 宿主机目录:数据卷挂载宿主机目录docker run --volumes-from 数据卷容器挂载数据卷容器(挂载点路径不变)docker run --link 源容器名:别名。

2022-10-17 23:33:27 278

原创 Docker容器------网络模式管理

host:与宿主机共享网络名称空间Container:多个容器之间共享一个network namespaceNone:自闭空间bridge:默认模式通过veth对连接容器与docker0网桥,网桥分配给容器IP。同时docker0作为“局域网”内容器的网关,最后和宿主机网卡进行通讯pverlay:叠加网络模式2,docker中,假设运行一个业务容器,但是业务容器需要暴露三个端口,启动后发现自己少加了一个端口。如何动态添加端口(如何对已经运行的容器添加或者修改端口)

2022-10-17 22:47:37 1669

原创 Docker容器------镜像,容器基础命令

镜像操作docker iamges #查看docker镜像docker inspect 【id号】 #查镜像的详细信息docker tag nginx:lastest nginx:web #修改docker的标签(见名知意)#==========删除镜像docker rmi nginx:web #删除标签为web的nginx镜像(删除标签指定的镜像)或者docker rmi 【镜像id】 #彻底删除该镜像#注意:如果该镜像一个呗容器使用,正确做法先删除该镜像的所有容器,再删除镜像。

2022-10-16 23:57:28 2125 1

原创 Docker容器------安装及优化

docker本质就是宿主机的一个进程,docker是通过namesoace(命令空间)实现资源隔离,通过cgroup实现资源限制,通过写时复制技术,实现了高效的文件操作(类似虚拟机的磁盘比如分配500g并不是实际占用物理磁盘500g)。

2022-10-16 16:58:50 794 5

原创 Docker容器-----虚拟化+docker概率基本介绍

通过虚拟化技术将一台计算机虚拟成多台逻辑计算机,在一台计算机上同时运行多个逻辑计算机,同时每个逻辑计算机可运行不同的操作系统,应用程序都可以在相互独立的空间内运行而互不影响,从而提高了计算机的工作效率。在一个操作系统中(win10)模拟多个操作系统(centos,win10,suse),同时每个操作系统可以跑不同的服务(nginx+tomcat),从而实现一台宿主机搭建一个集群(从整体)。通过软件/应用程序的方式,来实现物理硬件的功能。

2022-10-13 00:30:39 728 16

原创 RocketMQ安装,测试消息队列

RocketMQ是阿 里开源的一款非 常优秀中间件产品,脱胎于阿里的另一款队列技术MetaQ,后捐赠给Apache基金会作为一款孵化技术, 仅仅经历了一年多的时间就成为Apache基金会的顶级项目。并且它现在已经在阿里内部被广泛的应用,并且经受住了多次双十一的这种极致场景的压力(2017年的双十一,RocketMQ流转的消 息量达到了万亿级,峰值TPS达到5600万)。准备工作下载RocketMQ环境需求,JDK1.8。

2022-10-12 23:28:39 428

原创 【中间件】RocketMQ集群搭建(双主双从)

这种方式风险较大,一旦Broker重启或者宕机时,会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。

2022-10-12 23:19:44 1763 1

原创 【中间件】MQ是什么,RocketMQ是什么?

消息是指,消息系统所传输信息的物理载体,生产和消费数据的最小单位,每条消息必须属于一个主题。2,主题(Topic)Topic表示一类消息的集合,每个主题包含若干条消息,每条消息只能属于一个主题,是RocketMQ进行消息订阅的基本单位。一个生产者可以同时发送多种Topic的消息;而一个消费者只对某种特定的Topic感兴趣,即只可以订阅 和消费一种Topic的消息。

2022-10-12 23:03:15 2244 16

原创 ELK日志分析(二)之ELK搭建部署

输入采用标准输入,输出采用标准输出(类似管道)指定数据输入端口,默认为9600~9700Logstash 配置文件基本由三部分组成(根据需要选择使用)input:表示从数据源采集数据,常见的数据源如Kafka、日志文件等filter:表示数据处理层,包括对数据进行格式化处理、数据类型转换、数据过滤等,支持正则表达式output:表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。

2022-10-11 15:43:33 344 4

原创 ELK日志分析系统(一)之ELK原理

ELK是三个软件的统称,即Elasticsearch、Logstash和Kibana三个开源软件的缩写。这三款软件都是开源软件,通常配合使用,并且都先后归于Elastic.co企业名下,故被简称为ELK协议栈。ELK主要用于部署在企业架构中,收集多台设备上多个服务的日志信息,并将其统一整合后提供给用户。它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。提供了一个分布式多用户能力的全文索引引擎一款强大的数据处理工具可实现数据传输,格式处理,格式化输出。

2022-10-10 20:45:50 501

原创 GFS分布式文件系统

负责实现数据存储方式,以什么格式保存在磁盘中的一个技术。

2022-10-10 08:33:58 626 1

原创 rsync远程同步+inotify监控

rsync(Remote sync,远程同步)是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增加备份,并且保证链接和权限,且采用优化同步算法,传输前执行压缩,因此非常适合异地备份,镜像服务器等应用。rsync是一款开源的,快速的,多功能的,可实现全量及增量的本地或远程数据同步备份的优秀工具,并且可以不进行改变原有数据的属性信息,实现数据的备份迁移特性。

2022-10-07 23:23:48 239 1

原创 Redis (主从复制,哨兵模式,集群)概述及部署

Redis引入了哈希槽的概念。Redis集群由16384个哈希槽集群的每一个节点负责一部分哈希槽每个key通过CRC算法后对16384取余来决定放置哪个槽位。再通过这个槽位到对应的节点,然后直接跳转到这个对应的节点上进行存取操作。总的来说:就是cluster集群是分布式的,它可以将多个master当做一个整体来存放数据。并且cluster中有16384个slot(哈希槽),集群中的master来平分这些槽位。

2022-10-05 21:08:33 1760 13

原创 Redis不同数据类型下的基础查询命令

string是Redis最基础的类型,最大能存储512MB的数据,String类型是二进制安全的,即可以存储任何数据,比如数字,图片,序列化对象等,

2022-10-04 19:15:52 596

原创 Redis之持久化(RDB,AOF)

Redis是内存数据库,数据都是存储在内存中,为了避免服务器断电等原因导致Redis进程异常退出后数据的永远丢失,需要定期将redis中的数据以某种形式(数据或命令)从内存保存到硬盘,当下次Redis重启时,利用持久化文件实现数据包恢复,除此之外,为了进行容灾备份,,可以将持久化文件拷贝到一个运程位置。RDB持久化是将进程数据写入文件,而AOF持久化,则是讲过Redis执行的每次写,删除命令记录到单独的日志文件中,查询操作不会记录,当Redis重启时再次执行AOF文件中的命令来恢复数据。

2022-10-02 15:08:37 468 18

原创 Redis安装,性能优化

Redis是一个开源的,使用c语言编写的Nosql数据库。Redis基于内存运行并支持持久化,采用key-balues(键值对)的存储形式,是目前发布架构中不可或缺的一环。Redis服务器程序时单进程模型,也就是在一台服务器上可以同时启动多个Redis进程,Redis的实际处理速度则是完全依靠主进程的执行效率。

2022-09-29 08:43:21 2012 19

原创 MHA高可用配置和故障切换

1,MHA是一套优秀的Mysql高可用环境下故障切换和主从复制的软件2,MHA的出现就是解决Mysql单点故障的问题3,Mysql故障切换过程中,MHA能够0-30秒内自动完成故障切换操作4,MHA能在故障切换的过程中最大程度上保证数据的一致性,以达到真正意义上的高可用。

2022-09-28 13:50:24 541 1

原创 Mysql主从复制与读写分离

在企业应用中,成熟的业务通常数据量都比较大。单台MYSQL在安全性,高可用性和高并发方面都无法满足实际的需求。配置多台主从数据服务器以实现读写分离。

2022-09-26 13:49:25 1531 36

原创 Mysql高阶语句

存储过程也shell脚本里的函数类似,只不过存储过程,封装的是一组SQL语句Mysql数据库存储过程是一组为了完成特定功能的sql语句集合存储过程在使用过程中是将常用或者复杂的工作预先使用的sql语句写好并用一个指定的名称存储起来,这个过程编译的优化后存储在数据库服务器中,当需要使用该存储过程时,只需要调用它即可存储过程在执行上比传统sql速度更快,执行效率更高。

2022-09-23 22:49:48 721 45

原创 Mysql之进阶查询语句

视图:优化操作+安全方案数据库中的虚拟表,这张虚拟表不包含真实数据。只是做了真实数据的映射。视图可以理解为镜花水月倒影,动态保存结果集作用场景:针对不同的人(不同权限),提供不同的结果集的表(以表格的形式展示)功能简化查询结果集,灵活查询,可以针对不同用户呈现不同的结果集,相对有更高的安全性本质而言,视图是一种select(结果集的呈现)注意视图适合于多表连接浏览时使用,不适合增,删,改,而存储过程适合于使用较频繁的sql语句,这样可以提供执行效率常用查询,

2022-09-20 14:41:13 2899 60

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除