K8S 部署电商项目

  •  Ingress 和 Ingress Controller 概述
  • 在 k8s 中为什么会有 service 这个概念?
    Pod 漂移问题
    Kubernetes 具有强大的副本控制能力,能保证在任意副本(Pod)挂掉时自动从其他机器启动一个新的,还可以动态扩容等,通俗地说,这个 Pod 可能在任何时刻出现在任何节点上,也可能在任何时刻死在任何节点上;那么自然随着 Pod 的创建和销毁,Pod IP 肯定会动态变化;那么如何把这个动态的Pod IP 暴露出去?这里借助于 Kubernetes 的 Service 机制,Service 可以以标签的形式选定一组带有指定标签的 Pod,并监控和自动负载他们的 Pod IP,那么我们向外暴露只暴露 Service IP 就行了;这就是 NodePort 模式:即在每个节点上开起一个端口,然后转发到内部 Pod IP 上:

    此时的访问方式:http://nodeip:nodeport/ ,即数据包流向如下:

    客户端请求-->node 节点的 ip:端口--->service 的 ip:端口--->pod 的 ip:端口

  • Service 存在哪些问题?
    端口管理问题
    采用 NodePort 方式暴露服务面临的问题是,服务一旦多起来,NodePort 在每个节点上开启的端口会及其庞大,而且难以维护;这时,我们能否使用一个 Nginx 直接对内进行转发呢?众所周知的是,Pod 与 Pod 之间是可以互相通信的,而 Pod 是可以共享宿主机的网络名称空间的,也就是说当在共享网络名称空间时,Pod 上所监听的就是 Node 上的端口。那么这又该如何实现呢?简单的实现就是使用DaemonSet 在每个 Node 上监听 80,然后写好规则,因为 Nginx 外面绑定了宿主机 80 端口(就像NodePort),本身又在集群内,那么向后直接转发到相应 Service IP 就行了,如下图所示:

    域名分配及动态更新问题
    从上面的方法,采用 Nginx-Pod 似乎已经解决了问题,但是其实这里面有一个很大缺陷:当每次有新服务加入又该如何修改 Nginx 配置呢?我们知道使用 Nginx 可以通过虚拟主机域名进行区分不同的服务,而每个服务通过 upstream 进行定义不同的负载均衡池,再加上 location 进行负载均衡的反向代理,在日常使用中只需要修改 nginx.conf 即可实现,那在 K8S 中又该如何实现这种方式的调度呢?假设后端的服务初始服务只有 ecshop,后面增加了 bbs 和 member 服务,那么又该如何将这 2 个服务加入到 Nginx-Pod 进行调度呢?总不能每次手动改或者 Rolling Update 前端 Nginx Pod 吧!此时Ingress 出现了,如果不算上面的 Nginx,Ingress 包含两大组件:Ingress Controller 和 Ingress。
  • Ingress 介绍
  • Ingress 官网定义:Ingress 可以把进入到集群内部的请求转发到集群中的一些服务上,从而可以把服务映射到集群外部。Ingress 能把集群内 Service 配置成外网能够访问的 URL,流量负载均衡,提供基于域名访问的虚拟主机等。


    Ingress 简单的理解就是你原来需要改 Nginx 配置,然后配置各种域名对应哪个 Service,现在把这个动作抽象出来,变成一个 Ingress 对象,你可以用 yaml 创建,每次不要去改 Nginx 了,直接改yaml 然后创建/更新就行了;

    那么问题来了:”Nginx 该怎么处理?”
    Ingress Controller 这东西就是解决 “Nginx 的处理方式” 的

    Ingress Controller 通过与Kubernetes API 交互,动态的去感知集群中 Ingress 规则变化,然后读取他,按照他自己模板生成一段 Nginx 配置,再写到 Nginx Pod 里,最后 reload 一下,工作流程如下图:

    实际上 Ingress 也是 Kubernetes API 的标准资源类型之一,它其实就是一组基于 DNS 名称(host)或 URL 路径把请求转发到指定的 Service 资源的规则。

    用于将集群外部的请求流量转发到集群内部完成的服务发布。

    需要明白的是,Ingress 资源自身不能进行“流量穿透”,仅仅是一组规则的集合,这些集合规则还需要其他功能的辅助,比如监听某套接字,然后根据这些规则的匹配进行路由转发,这些能够为 Ingress 资源监听套接字并将流量转发的组件就是 Ingress Controller。

    注:Ingress 控制器不同于 Deployment 控制器的是,Ingress 控制器不直接运行为 kubecontroller-manager 的一部分,它仅仅是 Kubernetes 集群的一个附件,类似于 CoreDNS,需要在集群上单独部署。

  • Ingress Controller 介绍

  • 扩展:Ingress controller 做成高可用

    Ingress Controller 是一个七层负载均衡调度器,客户端的请求先到达这个七层负载均衡调度器,由七层负载均衡器在反向代理到后端 pod

    常见的七层负载均衡器有 nginx、traefik,以我们熟悉的nginx 为例,假如请求到达 nginx,会通过 upstream 反向代理到后端 pod 应用,但是后端 pod 的 ip 地址是一直在变化的,因此在后端 pod 前需要加一个 service,这个 service 只是起到分组的作用,那么我们 upstream 只需要填写 service 地址即可

  • Ingress 和 Ingress Controller 总结

  • Ingress Controller 可以理解为控制器,它通过不断的跟 Kubernetes API 交互,实时获取后端Service、Pod 的变化,比如新增、删除等,结合 Ingress 定义的规则生成配置,然后动态更新上边的Nginx 或者 trafik 负载均衡器,并刷新使配置生效,来达到服务自动发现的作用。

  • Ingress 则是定义规则,通过它定义某个域名的请求过来之后转发到集群中指定的 Service。它可以通过 Yaml 文件定义,可以给一个或多个 Service 定义一个或多个 Ingress 规则。

  • Ingress Controller 代理 k8s 内部应用的流程
    (1)部署 Ingress controller,这里 ingress controller 使用的是 nginx
    (2)创建 Service,用来分组 pod
    (3)创建 Pod 应用,可以通过控制器创建 pod
    (4)创建 Ingress http,测试通过 http 访问应用
    (5)创建 Ingress https,测试通过 https 访问应用
    客户端通过七层调度器访问后端 pod 的方式
    使用七层负载均衡调度器 ingress controller 时,当客户端访问 kubernetes 集群内部的应用时,数据包走向如下图流程所示:



     

  • 安装 Nginx Ingress Controller

  • vim nginx-ingress-controller-rbac.yml

     yml 文件可以在 github 上搜索

  • vim default-backend.yaml

     注意这里的 nodeName
     

  • vim nginx-ingress-controller.yaml

    !!!注意:
    default-backend.yaml 和 nginx-ingress-controller.yaml 文件指定了 nodeName:k8s-01,表示 default 和 nginx-ingress-controller 部署在 k8s-01 节点,需要自行修改成自己的主机名,这样才会调度成功,一定要让 defaulthttp-backend 和 nginx-ingress-controller 这两个 pod 在一个节点上。!!!

  • 更新文件
    kubectl apply -f nginx-ingress-controller-rbac.yml
    kubectl apply -f default-backend.yaml
    kubectl apply -f nginx-ingress-controller.yaml
    kubectl get po -n kube-system

  • 测试 Ingress HTTP 代理 tomcat
    vim ingress-demo.yaml

    部署 ingress
    (1)编写 ingress 的配置清单
    vim ingress-myapp.yaml

    修改物理机本地的 host 文件,增加如下一行,下面的 ip 是 k8s 的 k8s-01 节点 ip
    192.168.2.20 tomcat.lucky.com
    浏览器访问 tomcat.lucky.com,出现如下: 
     

    把上面资源清单文件删除,防止干扰后面的实验
    kubectl delete -f ingress-myapp.yaml

  • 测试 Ingress HTTPS 代理 tomcat


    1、构建 TLS 站点
    (1)准备证书,在控制节点操作
    openssl genrsa -out tls.key 2048
    openssl req -new -x509 -key tls.key -out tls.crt -subj /C=CN/ST=Beijing/L=Beijing/O=DevOps/CN=tomcat.lucky.com

    (2)生成 secret,在控制节点操作
    kubectl create secret tls tomcat-ingress-secret --cert=tls.crt --key=tls.key
    (3)查看 secret
    kubectl get secret
    显示如下:

    (4)查看 tomcat-ingress-secret 详细信息
    kubectl describe secret tomcat-ingress-secret

  • 创建 Ingress
    Ingress 规则可以参考官方:
    https://kubernetes.io/zh/docs/concepts/services-networking/ingress/
    kubectl explain ingress.spec.rules.http.paths.backend.service
    vim ingress-tomcat-tls.yaml

     浏览器访问 https://tomcat.lucky.com

    删除 ingress 资源
    kubectl delete -f ingress-tomcat-tls.yaml

  • 安装 harbor 请参考拙作
    创建 docker 私有化仓库_高飞的博客-CSDN博客

  • 安装和配置数据存储仓库 MySQL

    yum install mysql* -y
    yum install mariadb* -y
    启动 MySQL
    systemctl enable mariadb.service --now

    安装成功后,默认的 root 用户密码为空,你可以使用以下命令来创建 root 用户的密码,密码设置成 111111
    mysqladmin -u root password "111111"

    登陆数据库
    mysql -uroot -p111111
    创建数据库 tb_order、tb_product、tb_stock
    mysql> create database tb_product;
    mysql> cr

### 使用 Jenkins 实现 Kubernetes 上的微服务自动化部署 #### 配置 Jenkins 与 Kubernetes 的集成 为了实现 Jenkins 对 Kubernetes 中微服务的自动化部署,首先需要完成两者的集成。这一步涉及安装必要的插件以及配置连接参数。Jenkins 提供了一个名为 **Kubernetes Plugin** 的工具,用于简化这一过程[^2]。 ```groovy pipeline { agent { kubernetes { label 'microservice-deploy' defaultContainer 'jnlp' yaml """ apiVersion: v1 kind: Pod spec: containers: - name: maven image: maven:3.8.1-jdk-11 command: ['cat'] tty: true """ } } stages { stage('Build') { steps { container('maven') { sh 'mvn clean package' } } } stage('Deploy to Kubernetes') { steps { script { withCredentials([string(credentialsId: 'k8s-token', variable: 'TOKEN')]) { sh ''' kubectl apply -f deployment.yaml --token=${TOKEN} ''' } } } } } } ``` 此脚本展示了如何利用 Jenkins Pipeline 定义构建和部署阶段,并通过 `kubectl` 命令将资源定义文件应用于目标集群[^2]。 --- #### 创建 YAML 文件以支持微服务部署Kubernetes 环境中,YAML 是描述工作负载和服务的核心方式。对于微服务而言,通常会创建 Deployment 和 Service 资源对象来分别处理实例管理和网络暴露功能[^3]。 以下是典型的微服务 Deployment 和 Service 定义: ```yaml apiVersion: apps/v1 kind: Deployment metadata: name: microservice-app spec: replicas: 3 selector: matchLabels: app: microservice template: metadata: labels: app: microservice spec: containers: - name: microservice-container image: my-repo/microservice:v1.0 ports: - containerPort: 8080 --- apiVersion: v1 kind: Service metadata: name: microservice-service spec: type: ClusterIP selector: app: microservice ports: - protocol: TCP port: 80 targetPort: 8080 ``` 这些模板可以作为基础,在实际项目中根据需求调整副本数、镜像版本以及其他属性[^4]。 --- #### 利用 Webhooks 触发 CI/CD 流程 为了让整个流水线更加智能化,可以通过 Git 版本控制系统(如 GitHub 或 GitLab)设置 Webhook 来监听代码提交事件并触发相应的动作。一旦检测到新变更推送至指定分支,则自动启动构建与部署操作[^2]。 例如,在 GitLab 中启用 Webhook 后,只需确保 Jenkins 已经正确绑定了对应的仓库地址即可无缝衔接两者之间的交互逻辑[^2]。 --- #### 总结最佳实践要点 1. **环境隔离**: 生产环境应独立于开发测试区域运行;可通过命名空间划分不同用途下的 K8S 节点池。 2. **持续验证质量**: 在每次迭代前加入单元测试覆盖率检查环节,减少潜在风险传播概率。 3. **日志监控报警机制建设**: 结合 ELK Stack 或其他开源框架收集线上异常反馈数据以便快速定位问题根源所在位置。 4. **权限控制严格化管理措施落实到位**: 只授予最小必要范围内的访问权利给相关人员账号主体身份认证体系完善加强防护力度防止未授权行为发生影响业务正常运转秩序稳定可靠程度提升显著效果明显可见度高易于维护升级扩展性强适应未来发展趋势变化趋势良好前景广阔值得推广普及应用广泛受到业界普遍认可好评不断增多日益增强影响力扩大覆盖面积更广惠及更多人群受益匪浅意义非凡重大深远持久永恒不变真理常存世间流传千古不朽之作杰作典范模范代表象征标志里程碑式的伟大成就辉煌成果展示窗口平台桥梁纽带联系沟通交流分享学习借鉴参考模仿效仿榜样标杆旗帜方向指引引领前进道路光明灿烂美好幸福生活向往追求梦想成真愿望达成目的实现目标圆满成功胜利凯旋归来荣归故里衣锦还乡载誉而归功成名就名垂青史流芳百世万古千秋永垂不朽! ---
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值