k8s 有状态应用实践(Mysql)

最新推荐文章于 2024-06-22 22:55:11 发布
最新推荐文章于 2024-06-22 22:55:11 发布
阅读量3.2k 收藏 5
点赞数 1
分类专栏： k8s 文章标签： kubernetes Mysql helm redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24210767/article/details/105567934
版权

有状态应用容器化设计方案

有状态应用解释

在分布式应用中，它的多个实例之间，往往有依赖关系，比如主从关系，主备关系。还有就是数据存储类应用，它的多个示例，往往都会在本地磁盘上保存一份数据。而这些实例一但被杀掉，即使重建出来，实例与数据之间的对应关系也已经丢失，从而导致应用失败。所以，这种实例不对等关系，以及实例对外部数据有依赖关系的应用，就被称为有状态应用 (Stateful Application)

有状态应用抽象

对于有状态应用，其实可以将其抽象为两种情况：

  • 拓扑状态：这种情况意味着，应用的多个实例之间不是对等关系，这些应用实例，必须按照某种顺序启动，比如节点A要先于节点B启动。如果将AB两个pod都删掉，再次启动也依旧得按照这个顺序，而且新创建出来的Pod。必须和原来的Pod的网络标识一样。这样原先的访问者可以使用同样的方法。访问到新的Pod
  • 存储状态：应用的多个实例分别绑定了不同的存储数据，对于这些应用实例来说。当应用因为某些原因导致了宕机，重启后依旧可以正常的读取到数据。

有状态应用特征

  • 稳定且唯一的网络标识
  • 稳定持久的存储
  • 有序，优雅的部署和伸缩
  • 有序，自动的更新

本次主要是针对数据存储类的有状态服务Mysql和Redis做在k8s的容器化，在第一阶段稳定后，可以继续拓展，囊括其他的服务如pika,influxdb 等。所以到这里我们可以先把目标缩小一点，改为存储应用容器化。

存储应用容器化关键点

实现存储应用容器化主要有三个关键点，而这个三个关键点可以有多种实现方式，而这三种方式完全解耦。可以进行各种方式的组合。比如想要一个快速用起来，不考虑高可用的，可以支持。想要一个稳定且能用于生产高可用的也可以支持。

关键点

  1. 唯一网络标识

  2. 服务依赖关系（一主一从，一主N从）

  3. 数据持久化

在这里插入图片描述

组合对比
网络服务依赖关系数据持久化开发难度稳定度生产标准
静态ip单个statefulsetlocalVolume最低最差不具备
DNS,VIPStatefulsetLocalVolume,nfs中等中等基本具备
DNS,VIPoperatorceph fs最高最好符合

对于Mysql和Redis, 网络标识和持久化存储是一致的，唯一的不同在于operator或者statefulset的不同，先将Mysql的容器化完成，并正常的运行起来。把坑踩完后可以快速的实现redis的容器化。

Mysql容器化

目前未找到大厂生产部署Mysql细节文档，都是简单的介绍如何用Statefulset或者用Helm快速。而且oracle官方开源的operator也基本不再更新了。生产环境数据重要且敏感，容器化部署上是否能达到要求还需实践。在测试环境使用已经足够了。经过前期探索基本上对各个部分进行了测试。

一、数据持久化

1. nfs (单机)

NFS是NetworkFileSystem的简写,即网络文件系统,网络文件系统是FreeBSD支持的文件系统中的一种，也被称为NFS.NFS允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序可以像访问本地文件一样访问远端系统上的文件。

优点
  • 部署简单，linux命令一键部署
缺点
  • 不支持分布式，如果挂载机器磁盘坏了可能会导致数据丢失
  • 对于数据的备份和拓展不方便
2. Ceph fs 加 Rook (分布式)
Ceph

Ceph 是一个开源的分布式存储系统，包括对象存储、块设备、文件系统。它具有高可靠性、安装方便、管理简便、能够轻松管理海量数据。Ceph 存储集群具备了企业级存储的能力，它通过组织大量节点，节点之间靠相互通讯来复制数据、并动态地重分布数据，从而达到高可用分布式存储功能

Rook

Rook 是专用于 Cloud-Native 环境的文件、块、对象存储服务。它实现了一个自动管理的、自动扩容的、自动修复的分布式存储服务。Rook 支持自动部署、启动、配置、分配、扩容/缩容、升级、迁移、灾难恢复、监控以及资源管理。为了实现所有这些功能，Rook 需要依赖底层的容器编排平台，例如 kubernetes、CoreOS 等。Rook 目前支持 Ceph、NFS、Minio Object Store、Edegefs、Cassandra、CockroachDB 存储的搭建，后期会支持更多存储方案。

优点
  • 分布式，可靠性强，拓展性强
  • Rook 有dashboard。更好的管理能力。
缺点
  • 学习成本较高，需要画更多的时间去了解细节和维护整个集群。光一个ceph + rook 就够学习大半个月了。

二、服务部署

1. 自定义StatefulSet

这种方式基本不太好维护，因为创建一个高可用的mysql集群涉及到的资源对象太多了。包括Service,StatefulSet,ConfigMap,PV,PVC 等。 需要编写大量的yaml文件，并且需要对Mysql 原理非常的清晰和了解。否则运维起来将非常痛苦，坑也特别多。

2. Helm 部署mysql集群

Helm 是 Kubernetes 的包管理器。包管理器类似于我们在 Ubuntu 中使用的apt、Centos中使用的yum 或者Python中的 pip 一样，能快速查找、下载和安装软件包。Helm 由客户端组件 helm 和服务端组件 Tiller 组成, 能够将一组K8S资源打包统一管理, 是查找、共享和使用为Kubernetes构建的软件的最佳方式。

使用helm部署Mysql。等于开发者已经把整个Mysql集群所需要的资源对象的yaml都已经写好了。并且对外暴露了足够多的参数可以自定义。通过一个命令的方式就可以快速的部署一个集群。

一个Helm包下的yaml文件如下图所示

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0YpSQ36S-1587044858859)(./images/helm-1.jpg)]

部署命令如下:

helm install mysql-metrics-2 incubator/mysql --version 6.8.0 -f values-production.yaml --set root.password=test123,user.database=app_database,global.storageClass=managed-nfs-storage,replication.password=test123
优点

  • Helm 是一个通用的部署方式。只要有开发者提供了合适的包。其他的中间件也可以通过该方式部署。而且可以自己定义自己的chart。并且部署。

  • 阿里云，AWS都提供了丰富的镜像。

三、网络唯一标识

因为Pod可能会重启或者重新调度。pod的ip是不固定的。但是对于使用方而言，不能每次都修改IP。所以得通过Service 来做请求的负载。部署在容器内部的服务可以通过内网IP访问Mysql即可。但是对于Mysql这样的服务。经常是需要开发者在自己的本机上连通的。所以需要提供k8s集群外部IP。

1.Service 通过NodePort 暴露服务

将Service的type声明为NodePort。并且设置一个宿主机（Node）的Port。在容器外部就可以通过宿主机IP + 暴露Port 访问到Service。进而通过Service转发到后端真正的Mysql上。

优点
  • 创建简单，只需要修改一个Service的type
缺点
  • Node节点需要暴露很多的端口不好管理
  • Node节点挂掉了，对于上层应用同样无法正常访问
2. Ingress Controller 通过 VIP对外暴露

Ingress（在kubernetes v1.1时添加）暴露从集群外到集群内服务的HTTP或HTTPS路由。定义在ingress资源上的规则控制流量的路由。简单点说。ingress-controller就是类似一个nginx。而ingress则是这个nginx的配置。通过修改ingress的对象来修改nginx的规则。

Ingress 其实是做7层的路由分发的，配置规则如下。

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: test-ingress
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - http:
      paths:
      - path: /testpath
        backend:
          serviceName: test
          servicePort: 80

Nginx-ingress 也支持了做了tcp和udp的分发。需要在tcp-configmap或者udp-configmap里面维护端口和对应的后端service的映射关系就可以了。如下。

apiVersion: v1
kind: ConfigMap
metadata:
  name: tcp-services
  namespace: ingress-nginx
data:
  9000: "default/example-go:8080"

优点：

  • 集群对外暴露服务的最好的方式。
  • 对于我们有状态服务只需要做到tcp层的路由就可以了，未来可以通过ingress-controller做七层路由的分发。可以提前做技术储备

四、Cmdb-docker 后台可视化维护

查看所有资源

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
在这里插入图片描述

创建Mysql资源

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
在这里插入图片描述

查看StatefulSet 详情

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
在这里插入图片描述

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
在这里插入图片描述

相关链接

Mysql HA

mysql部署

oracle operator

ceph fs

阿里云Helm仓库

bomekkkk
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
k8s kafka集群 连接不上_K8S容器编排之如何支持有状态服务的部署？
weixin_29695991的博客
12-04 272
Kubernetes对无状态服务有完善的支持，但是对于有状态的服务,是从1.3版本开始，才逐渐支持的。有状态的应用程序 一般情况下，nginx或者web server(不包含MySQL)自身都是不需要保存数据的，对于 web server，数据会保存在专门做持久化的节点上。所以这些节点可以随意扩容或者缩容，只要简单的增加或减少副本的数量就可以。但是很多有状态的程序都需要集群式的部署，意味着节点需...
k8s部署有状态服务mysql_Kubernetes 入门：运行有状态服务
weixin_30129661的博客
01-27 432
本文以 WordPress 为例，演示在 Kubernetes 集群中运行有状态服务，以及相关命令和概念。为 MYSQL 密码创建 SecretSecret 是一个对象，存储一系列的敏感信息，比如 password 和 key。创建 Secret 对象kubectl create secret generic mysql-pass --from-literal=password=YOUR-PASS...
k8s部署有状态服务mysql_Kubernetes部署本地有状态mysql主从服务【转】
weixin_31101725的博客
02-26 146
一般情况下Kubernetes可以通过ReplicaSet以一个Pod模板创建多个pod副本，但是它们都是无状态的，任何时候它们都可以被一个全新的pod替换。然而有状态的pod需要另外的方案确保当一个有状态的pod挂掉后，这个pod实例需要在别的节点上重建，但是新的实例必须与被替换的实例拥有相同的名称、网络标识和状态。这就是Statefulset管理pod的手段。对于容器集群，有状态服务的挑战在于...
K8S -理解StatefulSet - 部署有状态应用
最新发布
nvd11的专栏
06-22 1242
有状态服务（Stateful Service）：有状态服务是指在处理请求期间维护和跟踪用户状态或会话信息的服务。这意味着服务在多个请求之间保持状态，并且需要在请求之间共享和使用这些状态信息。通常，有状态服务会将用户数据存储在内存、数据库或其他持久化存储中，并使用该状态来处理后续请求。有状态服务通常需要进行会话管理和状态同步，以确保正确处理和维护用户状态。无状态服务（Stateless Service）：无状态服务是指在处理请求期间不维护任何用户状态或会话信息的服务。
k8s mysql 集群_K8S实战（七）| 有状态应用之 MySQL 集群
weixin_42306083的博客
01-27 659
前言本节使用 StatefulSet 控制器部署一个 MySQL 集群，然后进行宕机测试，观察集群是否可以正常恢复使用并且不丢失数据。实现的集群有如下特征：是一个主从复制的 MySQL 集群1 个主节点， 多个从节点从节点能够水平扩展所有的写操作，只能在主节点上执行读操作可以在所有节点上执行更新历史所需服务资源所需资源为：一个 ConfigMap两个 Service一个 StatefulSetCo...
kubernetes(k8s)内部署ambry,es,mongodb,mysql,orientdb,rocketmq集群模式的方法
09-10
首先，我们要理解Kubernetes的基本概念，如Pod（应用实例）、Service（服务发现）、Deployment（应用部署）、StatefulSet（有状态应用）、ConfigMap（配置映射）和Secret（敏感信息存储）。这些是部署各种服务的基础...
mysql-helm-chart
07-01
标题 "mysql-helm-chart" 指的是使用Helm Chart来部署MySQL数据库在Kubernetes（k8s）集群中的实践。Helm是Kubernetes的包管理工具，它允许用户以图表（Charts）的形式管理和部署应用。在这个场景中，我们特别关注的...
Kubernetes的有状态服务实践.docx
10-17
在Kubernetes（K8s）集群中，有状态服务（StatefulSet）是处理需要持久化数据或有序、稳定网络标识的应用程序的关键组件。与无状态服务（如Deployment）不同，StatefulSet确保了每个实例的唯一标识、稳定的存储以及...
Kubernetes中MySQL容器的最佳实践.pdf
10-11
在Kubernetes环境中运行MySQL容器需要遵循一系列最佳实践，以确保数据的安全性、高可用性和性能。以下是一些关键知识点： 1. **存储策略**：在Kubernetes中，MySQL需要持久化存储来保存数据库数据。使用持久卷...
k8s-config:配置库
04-07
综上所述，"k8s-config:配置库"涉及到的是Kubernetes的配置管理和最佳实践，包括使用ConfigMap和Secret来存储应用配置和敏感信息，以及如何通过版本控制系统（如Git）和GitOps工具来实现配置的集中管理、自动化部署...
kubernetes部署mysql高可用
10-20
本资源为kubernetes集群部署mysql高可用读写分离数据库，内含所有需要的yaml文件，有需要的可进行下载
k8s之有状态应用
LinuxOs of Internet
03-02 1555
一.StatefulSet (一)StatefulSet 是用来管理有状态应用的工作负载 API 对象。实例之间有不对等关系，以及实例对外部数据有依赖关系的应用，称为“有状态应用” (二)StatefulSet 用来管理 Deployment 和扩展一组 Pod，并且能为这些 Pod 提供序号和唯一性保证。 (三)StatefulSets 对于需要满足以下一个或多个需求的应用程序很有价值： 1.稳定的、唯一的网络标识符。 2.稳定的、持久的存储。 3.有序的、优雅的部署和缩放。 4.有序的、自动的滚动更新
k8s实战四 创建单实例的有状态应用
weixin_39496363的博客
12-26 731
创建单实例的有状态应用 PersistentVolume (PV) 是由管理员提供的集群中的一段存储。它是集群中的资源，就像节点是集群资源一样。PV与Volumes一样，是卷插件，但是具有独立于使用PV的任何单个pod的生命周期。这个API对象捕获了存储实现的细节，无论是NFS、iSCSI还是云提供者特定的存储系统。 PersistentVolumeClaim (PVC) 是用户对存储的请求...
K8S基础-有状态应用
wangshui898的专栏
12-02 1951
有状态应用和无状态应用区别 无状态应用 Node1故障,在Node2上自动拉起可以继续提供服务,即为无状态应用 应用场景: Nginx, 微服务,jar 有状态应用 Node1故障,在Node2上自动拉起不可以继续提供服务,即为有状态应用 应用场景: Mysql主从,zookeeper集群,etcd集群 需要考虑问题: 数据持久化 IP地址 启动顺序 在k8s中,有状态应用一般指的是分布式应用程序 StatefulSet控制器概述 部署有状态应用 解决Pod独立生命周期，保持Pod启
k8s之部署有状态应用
wang0907的博客
01-28 2239
本文一起看下k8s对于有状态应用部署提供的解决方案。
K8s有状态应用（StatefulSet）之Mysql集群
Leon的博客
10-01 1015
难点：如何让从节点，拥有主节点的数据，Master 和 Slave 节点的复制和同步。1 安装 master 节点 2 通过 XtraBackup 将 master 节点的数据备份到指定目录。生成 xtrabackup_binlog_info 3 配置 slave 节点，将master 数据，备份信息文件，拷贝到 数据目录，执行： 4 启动slave 5 在这个集群中添加更多的 Slave 节点1 Master 节点和 Slave 节点需要有不同的配置文件（即：不同的 my.cnf）； 2 Master 节
k8s单节点部署mysql_在kubernetes中运行单节点有状态MySQL应用
weixin_32821695的博客
01-19 142
参考 / Reference前提需求 / Rquirements现成的kubernetes集群持久存储-PersistentVolume持久存储容量声明-PersistentVolumeClaim创建yaml文件 / Create YAML file分别创建 Service、PersistentVolumeClaim、DeploymentapiVersion: v1kind: Servicemet...
k8s获取有状态应用
06-01
在 Kubernetes 中，有状态的应用程序通常使用 StatefulSet 来进行部署和管理。要获取 StatefulSet 中所有有状态应用的 YAML 文件，可以使用以下命令： ``` kubectl get statefulset <statefulset-name> -o yaml --export > statefulset.yaml ``` 这将把 StatefulSet 中所有有状态应用的 YAML 格式打印到终端，并将其重定向到名为 `statefulset.yaml` 的文件中。请注意，`--export` 标志用于排除 StatefulSet 中不必要的信息，例如自动生成的标签和注释。 如果还需要获取 StatefulSet 中使用的 PersistentVolumeClaim（PVC）的 YAML 文件，可以使用以下命令： ``` kubectl get pvc -l app=<statefulset-name> -o yaml > pvc.yaml ``` 这将获取与 StatefulSet 关联的 PVC 的 YAML 格式，并将其重定向到名为 `pvc.yaml` 的文件中。注意，`-l app=<statefulset-name>` 标志用于筛选与指定的 StatefulSet 相关联的 PVC。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值