数据处理任务量级巨大？构建预置容器镜像的Amazon EKS解决方案了解一下！

概述

Amazon EKS是一项托管的Kubernetes服务，且经过认证与Kubernetes一致，因此上游Kubernetes上运行的现有应用程序可与Amazon EKS兼容。出于其安全性、可靠性和可扩展性，在各个行业和领域，Amazon EKS是运行Kubernetes的最佳平台。

我们看到在医药行业和自动驾驶领域利用Amazon EKS+Spot的组合方案去做海量的数据处理计算任务，他们的特点就是利用Amazon EKS集群Spot计算节点做任务处理，并且Amazon EKS的工作节点不需要常驻，每次调度的计算任务量级巨大。本文就是针对类似场景，提供通过预置任务容器Image到Amazon EKS Node Custom AMI中，利用预置容器Image的AMI在每次构建海量任务时创建工作节点，避免数千或数万任务调度时，相同的Image被重复拉取，尤其Image的Size很大的情况下会消耗额外的计算时长。

???? 想要了解更多亚马逊云科技最新技术发布和实践创新，敬请关注2021亚马逊云科技中国峰会！点击图片报名吧～更多精彩内容，敬请期待8.19-20北京、9.15深圳分会吧！

架构示意图

此方案基于Amazon EKS Custom AMI的开源项目，通过修改定制脚本，拉取保存在ECR镜像仓库中的Image，利用Packer工具构建Amazon EKS Worker Nodes AMI，使用eklctl工具在Amazon EKS集群中创建预置了Image的Node Groups。

环境搭建

部署Amazon EKS Custom AMI构建环境

 1# 安装 HashiCorp Packer 工具
 2sudo yum install -y yum-utils
 3sudo yum-config-manager --add-repo https://rpm.releases.hashicorp.com/AmazonLinux/hashicorp.repo
 4sudo yum -y install packer
 5
 6packer --version
 71.6.6
 8# 安装 Git、Docker、更新 AWS Cli 和安装 eksctl
 9sudo yum install git -y
10sudo yum install docker -y
11sudo systemctl start docker
12
13curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
14unzip awscliv2.zip
15sudo ./aws/install
16. ~/.bash_profile
17
18aws –version
19
20curl --silent --location "https://github.com/weaveworks/eksctl/releases/latest/download/eksctl_$(uname -s)_amd64.tar.gz" | tar xz -C /tmp
21sudo mv -v /tmp/eksctl /usr/local/bin
22# Clone Amazon Custom AMI git
23cd /home/ec2-user/
24git clone https://github.com/awslabs/amazon-eks-ami

首先需要准备一台EC2实例，具体流程可以参考如何创建用于Amazon EKS的自定义Amazon Linux AMI，以下会描述简要流程

• 如何创建用于Amazon EKS的自定义Amazon Linux AMI

  https://aws.amazon.com/cn/premiumsupport/knowledge-center/eks-custom-linux-ami/

 1# 准备 Dockerfile，构建 Demo Image
 2$ touch Dockerfile
 3$ vim Dockerfile
 4添加如下内容：
 5FROM ubuntu:18.04
 6
 7# Install dependencies
 8RUN apt-get update && \
 9 apt-get -y install apache2
10
11# Install apache and write hello world message
12RUN echo 'Hello World!' > /var/www/html/index.html
13
14# Configure apache
15RUN echo '. /etc/apache2/envvars' > /root/run_apache.sh && \
16 echo 'mkdir -p /var/run/apache2' >> /root/run_apache.sh && \
17 echo 'mkdir -p /var/lock/apache2' >> /root/run_apache.sh && \ 
18 echo '/usr/sbin/apache2 -D FOREGROUND' >> /root/run_apache.sh && \ 
19 chmod 755 /root/run_apache.sh
20
21EXPOSE 80
22
23CMD /root/run_apache.sh
24# Build docker image
25$ docker build -t hello-world .

准备任务Image

 1# 登陆 ECR，创建 ECR 存储库, Push 镜像
 2$ aws ecr get-login-password --region cn-northwest-1 | sudo docker login --username AWS --password-stdin account_id.dkr.ecr.cn-northwest-1.amazonaws.com.cn
 3
 4$ aws ecr create-repository \
 5    --repository-name hello-world \
 6    --image-scanning-configuration scanOnPush=true \
 7--region cn-northwest-1
 8
 9$ docker tag hello-world:latest account_id.dkr.ecr.cn-northwest-1.amazonaws.com/hello-world:latest
10$ docker push account_id.dkr.ecr. cn-northwest-1.amazonaws.com.cn/hello-world:latest

Push任务Image到ECR

1# 编辑构建脚本
2$ cd amazon-eks-ami && vim scripts/install-worker.sh

修改Amazon EKS Custom AMI构建脚本

 1export ACCOUNT_ID=$(aws sts get-caller-identity --output text --query Account)
 2export AWS_REGION=$(curl -s 169.254.169.254/latest/dynamic/instance-identity/document | jq -r '.region')
 3
 4curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
 5unzip awscliv2.zip
 6sudo ./aws/install
 7
 8/usr/local/bin/aws --version
 9aws sts get-caller-identity
10
11/usr/local/bin/aws configure set default.region ${AWS_REGION}
12/usr/local/bin/aws configure get default.region
13
14/usr/local/bin/aws ecr get-login-password --region cn-northwest-1 | sudo docker login --username AWS --password-stdin [account id].dkr.ecr.cn-northwest-1.amazonaws.com.cn
15echo "start docker"
16sudo systemctl start docker
17echo "pull image"
18sudo docker pull [account id].dkr.ecr.cn-northwest-1.amazonaws.com.cn/hello-world:latest
19echo "docker stop"
20sudo systemctl stop docker

导入环境变量

1# 导入环境变量，Access Key 和 Secret Access Key
2export AWS_ACCESS_KEY_ID=AKIA37FFOR2TESTTEST
3export AWS_SECRET_ACCESS_KEY=lh+Yc+vfFOLIq1FTESTTEST TESTTEST TEST
4
5export ACCOUNT_ID=$(aws sts get-caller-identity --output text --query Account)
6export AWS_REGION=$(curl -s 169.254.169.254/latest/dynamic/instance-identity/document | jq -r '.region')

构建定制 AMI

1$ cd /home/ec2-user/amazon-eks-ami
2$ make 1.18

等待构建过程结束，记录AMI ID

或者在EC2 AMI控制台界面，利用AMI ID搜索可以查看详情

创建Amazon EKS的

Node Group

生成Node Group的yaml文件

 1# cluster-nodegroup.yaml 文件
 2$ vim cluster-nodegroup.yaml
 3apiVersion: eksctl.io/v1alpha5
 4kind: ClusterConfig
 5metadata:
 6    name: eks-test
 7    region: cn-northwest-1
 8nodeGroups:
 9    - name: test-ng-1
10      ami: ami-063b63a893ab19ebb # 自定义EKS AMI ID
11      minSize: 1
12      maxSize: 5
13      desiredCapacity: 1
14      instancesDistribution:
15        instanceTypes: ["m5.large", "m5d.large", "m4.large"]
16        onDemandBaseCapacity: 0
17        onDemandPercentageAboveBaseCapacity: 0
18        spotAllocationStrategy: capacity-optimized
19      ssh:
20        allow: true
21        publicKeyName: ec2_key_pair
22      labels:
23        lifecycle: Ec2Spot
24        intent: apps
25        aws.amazon.com/spot: "true"
26      taints:
27        spotInstance: "true:PreferNoSchedule"
28      tags:
29        k8s.io/cluster-autoscaler/node-template/label/lifecycle: Ec2Spot
30        k8s.io/cluster-autoscaler/node-template/label/intent: apps
31        k8s.io/cluster-autoscaler/node-template/label/aws.amazon.com/spot: "true"
32        k8s.io/cluster-autoscaler/node-template/taint/spotInstance: "true:PreferNoSchedule"
33      iam:
34        withAddonPolicies:
35          autoScaler: true
36          cloudWatch: true
37          albIngress: true

使用eksctl创建Node Group

1$ eksctl create nodegroup -f cluster-nodegroup.yaml

登陆Worker Node检查Image

我们可以通过ssh登陆到Worker Node上，检查预置的Image已经存在。

总结

利用Amazon EKS Custom AMI的能力，您可以通过预置自定义Image到Amazon EKS的Worker Node，实现在部署海量计算任务Pod的场景中，不需要重复并行的去ECR上拉取任务Image，达到快速启动Pod的目的。参考本文，您也可以按照自己的使用场景，通过定制install-worker.sh，实现各种各样的自定义能力，方便您更好的使用Amazon EKS服务去支持多样的工作负载。

参考资料

• Amazon Elastic Kubernetes Service

  https://www.amazonaws.cn/eks/

• 如何创建用于Amazon EKS的自定义Amazon Linux AMI？

  https://aws.amazon.com/cn/premiumsupport/knowledge-center/eks-custom-linux-ami/

• 构建Amazon ECR镜像库

  https://docs.aws.amazon.com/zh_cn/AmazonECR/latest/userguide/getting-started-cli.html

• 使用EKSCTL构建Amazon EKS集群

  https://eksctl.io/introduction/

• Introducing launch template and custom AMI support in Amazon EKS Managed Node Groups

  https://aws.amazon.com/cn/blogs/containers/introducing-launch-template-and-custom-ami-support-in-amazon-eks-managed-node-groups/

本篇作者

唐健

亚马逊云科技解决方案架构师

负责基于的云计算方案的架构设计，同时致力于亚马逊云服务在移动应用与互联网行业的应用和推广。拥有多年移动互联网研发及技术团队管理经验，丰富的互联网应用架构项目经历。

听说，点完下面4个按钮

就不会碰到bug了！