上海社区 Meetup 12.11 精彩回顾

9a8a2aae0dd25f4244314cedde250379.gif

亚马逊云科技 User Group 开发者社区是为开发者们提供彼此学习、分享技术实践、培训进阶等活动的技术交流分享社区。通过亚马逊云科技服务,帮助开发者遇到的技术挑战。目前,User Group 社区用户群体,由对技术抱有高度热忱的开发者组成。社区聚会上,亚马逊云科技技术开发者,亚马逊云科技合作伙伴以及技术顾问,技术爱好者济济一堂,有着共同的技术兴趣与分享热情。

2021 年 12 月11 日,User Group 上海开发者社区举办了一场《轻松玩转EKS》主题沙龙,此次活动线上线下同步直播模式,直播观看人数超过2000人次,100多位开发者、讲师和志愿者们一起共同度过了一个美妙的下午。来自亚马逊的技术专家们介绍了亚马逊云科技在容器和机器学习领域的产品解决方案,来自携程、智慧芽的专家现场分享了各自业务领域内的 Amazon EKS 实战经验。活动中专家们与观众互动频频,现场气氛非常活跃,感谢亚马逊云科技容器产品专家王星、亚马逊云科技机器学习架构师李雪晴、携程国际机票后台研发马超、智慧芽 IaaS 平台负责人徐鹏为我们带来的精彩分享。同时,也感谢应约而来的亚马逊云科技爱好者们!

内容回顾

在本场分享中一共设置了 4 个主题分享,现在一起再来回顾一下嘉宾们所分享的内容吧!

13e77378ea7cab3c48226736f0dd7026.gif

王星,亚马逊云科技容器产品专家

Amazon EKS 新产品发布

b591b4555dd76ddae1466d965ac79400.png

Amazon EKS 是什么

Amazon EKS是亚马逊云科技提供的一项托管服务。可让您在亚马逊云科技上轻松运行 Kubernetes,而无需安装、操作或维护您自己的 Kubernetes 控制层面或节点。

Amazon EKS 优势

  • 便利性,Amazon EKS 大幅度降低操作kubernetes的复杂性,简单易上手

  • 可靠性,Amazon EKS 提供高性能、高可用、安全可靠的kubernetes托管服务

  • 兼容性,Amazon EKS 团队积极参与上游 kubernetes 开源贡献,100%兼容

  • 降低成本,让客户专注于战略运营、无需关心底层基础架构运维繁重工作

使用 Amazon EKS 可直接在 Kubernetes 中调用其他亚马逊云科技服务

b487cda3724c950d030b21cea510c8b9.png

多种 Amazon EKS 工具及部署方案

Amazon EKS Anywhere 帮助客户在任何基础架构上部署并管理kubernetes集群。

51bed71f2caf32b720f8b4305373ea0c.png

bec43fd81d3d0b8b7efcb3fd783e4b3c.gif

王星,亚马逊云科技容器产品专家

基于亚马逊云快速构建、

灵活拓展 KubeFlow 机器学习项目

e1cf66ea001b64f31f5db7aae1bb45df.png

背景

越来越多的企业开始自己建构机器学习平台,相对传统的平台架构是为各个团队的人员单独配置自己的集群。

a97eefe8fd612a81b326a84ee580409e.png

基于云服务所搭建的平台架构

a720eb2cbe1c5f65aee2de36d1502b74.png

Kubeflow

Kubeflow 是 Kubernetes 的机器学习工具包。它的目的是让扩展机器学习 (ML) 模型并将它们部署到生产中尽可能简单。如在不同的基础设施上简单、可复用、可移植的部署,部署和管理松散耦合的微服务,按需分配扩容。在你运行 Kubernetes 的任何地方,你都应该能够运行 Kubeflow。

KubeFlow 应用场景在以下几个方面:

  1. 数据准备

  2. 模型训练

  3. 预测服务

  4. 服务管理

f6ab5ec54d541ac70333cccfb8cd34e5.png

KubeFlow 的使用场景

1208e35a1bd4a802a10835ff0892f155.png

b4c8d53e5ec73a446753bae2715ea664.png

66c75dad3f6a4c044be0fced9f416740.png

KubeFlow with Amazon EKS

ee991f1c3700535b2093330e7b67d6ca.png

SageMaker

Amazon SageMaker 助力深度学习开发标签、数据准备、功能工程、统计偏差检测、自动机器学习、训练、调优、托管、可解释性、监控和工作流等提供全面的ML服务。通过整合专门为 ML 构建的广泛功能集,帮助数据科学家和开发人员快速准备、构建、训练和部署高质量的机器学习 (ML) 模型。

4230cb63ab0f0e4420c73e2823b87d3b.png

Amazon SageMaker 可以轻松在生产环境中一键式部署您的受训模型,以便您开始针对实时或批量数据生成预测。

f8e2ae1cd633fea777b812fb977b8634.png

4b137cc2b86e7acd1241e36333ed1907.gif

马超,携程国际机票后台研发

携程国际机票在 Amazon EKS 上的出海实践

3cbec8897c874a2cb099f4a94d1d357d.png

携程平台架构

c786f51c0a15ff656a4dda4e54efa5ea.png

利用 Amazon EKS 容器平台弹性伸缩、高可用及低成本的优势,

  • 全球扩展

  • 使用开源组件兼容 IDC

  • 搭建基础架构及代码的自动化交付

当前 Amazon EKS 在携程内部有许多应用场景,诸如生产集群,自动化交付,CI/CD 等等。

携程部署 Amazon EKS 中的最佳实践

根据不同类型的业务,合理选择 Amazon EKS 的计价方案,可以带来成本的显著降低。

ef6b4056c7cec4e535df6a852b047666.png

Amazon EC2 SPOT/On-Demand  实例对比 。采用到 SPOT 方式,我们平常会配置部分策略,以便于及时调整到 On-Demand 方式,保证在节省资源减少企业开支的情况下,线上业务稳定性。

On-Demand:按需付费,一种比较灵活的付费方式,适用于高可用有状态应用场景 SPOT instance:竞价实例,价格随时间浮动,适用于无状态服务,详情可查阅亚马逊云科技文档

68420d4a0a74023805e70630b9266c23.png

为了保障业务稳定,支持业务的三个机房独立部署。

每个机房有三种机型交叉使用。保障在使用资源紧张的情况下,从其他机型上快速补充进来。

进一步细分为:SPOT 区域和 Demand 区域,无状态服务一般优先使用 SPOT 区域。

所有节点的伸缩策略由 CA 自主管理决定,无须研发人员过多干涉。ASG 负责判断节点的分配策略。当 SPOT 不可用时,会分配到 Demand 区域。

(针对一些高可用的数据库,它会要求的资源更多,对 cpu 和内存依赖较高,一般分配 m5 large  机型。当我面临资源选型时,要提前做系统资源规划,根据业务状态,判断数据库承载量,选择资源年包付费方式。

7d2eae94540c2106ad1defb53c3eeacc.png

总结在携程 Amazon EKS 最佳实践下来, Amazon EKS 为携程在降低成本,快速交付,全球化部署等等方面建立优势。

6c0cdf88b64c4deea4f26ce4c5d69420.png

fc5ec9513973891e8f22f714e6011982.gif

徐鹏,智慧芽 IaaS 平台负责人

Amazon EKS 下的实践之路

0c09ba2e6297f66a32ea7094917778cb.png

智慧芽平台架构

8bf0b5f5bf6fd242ae5bef308ba6252b.png

a983c883a41b8844c8e24729a7cc65f3.png

智慧芽 Amazon EKS 最佳实践

Amazon EKS 上的服务构架

cb9d707e936d562a3b5177abcb003bc6.png

  • kubeflow 用于模型训练与构建发布

a2a3783b433dad5eeb40910451130fc9.png

ead671591cd15d81701a933672778f76.png

  • 基础建设CI/CD

f0d5cef6e726d3e4c79d3d57a5a937d3.png

  • Pod优雅下线的细节

terminationOnGracePeriod 的时长需要大于 preStop 设置 timeout 时长

3895b8ab1df81c45bcd7859d3735e71b.png

  • 大数据与 AI 方面

bbf0d7acdefc5bc1d2ddddb232f3c858.png

问答互动

Q&A 环节,专家与观众们互动满满,气氛十分活跃,快来照片里找找有没有你认真听讲的身影吧!

2b33be7b8afc4a052327f91fe860e1f5.png

3132383e81cfe8c222adb551777544e0.png

dae1a1089f23d0949e1354dee8d5093b.png

e86ee81043ada635f46df20ab2ce0043.png

Chill & Chat

差点被干货噎着,在这技术氛围满满的现场,我们还有让大家一起 Chill 的茶歇时刻~

ba70d4b8b0fcc85aa4bed4a92b05b4f3.png

b90d6d7656e2694eade498f299f60ce4.png

这次的茶歇颜值满满呐(小编在深夜不争气地流了口水),还没参加活动的伙伴们下次一定要来哦!

eb5795bc10ff854ecc2a2fe84c61e075.png

因对技术的兴趣而汇聚的开发者在这时刻相互攀谈,也热情地与嘉宾互相交流

faa4ba014b233a03e89968d9ddbb4298.png

df60cb432a5d459bc299f7ab9bd74730.png

感谢参加本场 Meetup 的讲师、开发者和志愿者们,也感谢应约而来的观众们!预知更多信息或活动预告,请持续关注微信公众号【User Group】

如果错过这次现场活动?没有关系!点击阅读原文即可获取本次活动录播和 PPT 资料。

459a0a448b187ff32dd5a09290a46e75.png

最后,非常感谢认真负责、热情满满的志愿者们!正是有了你们才有了这样一场完美的相聚,期待下一次的活动。User Group社区志愿者、讲师持续招募中!感兴趣加入的小伙伴请扫码报名哦~

912156490aca9a8bb06f602e5b1df188.png

👆扫码成为讲师/志愿者👆

2910b7fc64e8e474bbc134e4e47861be.png

3057775fc87b08d0cdd4f6143119a128.png

扫描上方二维码即刻注册

c5004ef282e696a578d59bd432dff7fa.gif

668f2033ffe920119de92be13815ee75.gif

听说,点完下面4个按钮

就不会碰到bug了!

70c45b18f35406c09669635fa8deced6.gif

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值