etsy
热门在线市场Etsy最近完成了从2,000台本地服务器到Google Cloud的两年迁移。 Etsy网站和移动应用程序为手工制作和利基产品的制造商提供了在线商店的窗口，但是到2018年，该平台上有超过200万卖家，内部裸机基础设施开始崩溃。
Etsy成立于2005年，进入互联网时代，但距离公共云服务的爆炸式增长还很遥远。 该公司于2015年上市，此后不久便将云迁移列为优先事项，这样它就可以扩展其服务，而不必事先购买大量昂贵的硬件，并更好地利用机器学习技术。
[ 也在InfoWorld上：Kubernetes与现实世界相遇：3个成功案例 ]
2016年，该公司开始探索公共云市场。 在选择过程中，Google Cloud脱颖而出，这归功于Google希望比竞争对手更具实践性。 Etsy的首席技术官Mike Fisher告诉InfoWorld：“他们进来并借此机会了解了我们的业务和面临的挑战，并将我们与实际的工程师配对，而不仅仅是销售代表。”
两年的迁移
两家公司于2017年12月签署了一项为期五年的协议，并于2018年初开始制定迁移策略，目标是在两年内完成所有迁移工作。
Google Cloud在Etsy的布鲁克林办公室及其Slack渠道中嵌入了工程师。 该项目的第一阶段是市场网站应用程序本身，该应用程序由网站，移动API，Web服务器，API服务器和数百个MySQL数据库组成，这些数据库以LAMP堆栈为基础的整体体系结构。
迁移的主要原则是：不对体系结构进行大的更改，迁移尽可能少的系统，并保持合规性。
“我们认为做一个重写将风险的大量添加到项目[...]代码库已经有很多在它的扭结，这是传统的，” Keyur Govande，在Etsy的首席架构师，说明在舞台上去年的Google Cloud Next会议。
重要的是要注意，8月通常会触发Etsy数百万美元的硬件购买狂潮，这是繁忙的假期旺季的年度支持。 团队希望在8月份将核心市场转移到Google Cloud，以便在这个忙碌的时期之前它将主要在云中运行，并节省再次进行假日硬件投资的费用。
工程师最终在2018年8月19日进行了第二次尝试，通过牙齿的皮肤越过了线。在工程师观察到迁移过程中一些关键的脱机处理系统内存不足时，第一次尝试被撤消。
Etsy重新构建为云原生模型的核心工作负载是搜索，它是在高度定制版本的Apache Solr和Lucene上运行的Java和Scala应用程序。
[ 也在InfoWorld上：云原生技术如何克服云锁定 ]
“我们首先在我们自己的数据中心上迁移了Kubernetes上的搜索，” Fisher说。 “挑战在于不向容器和Kubernetes迁移，我们可以邀请人们来教我们，这是如何使之可操作并在其上运行软件的挑战。”
该应用程序于2019年3月进行了迁移，随后是大数据存储，其于4月不久完成。 剩下的最后一个支持系统，例如监视系统，则最后迁移了。 当这项工作在今年2月完成时，该公司已经实现了两年的迁移目标。
为了执行该项目，Etsy组成了一个跨职能的迁移“小组”，专门致力于按服务迁移Etsy，而对其余技术功能的干扰则尽可能小。
Etsy确实遭受了几个月的故障，其可用性低于理想水平，而工程师决定了他们需要监视和观察的内容以及如何以及何时做出React。 费舍尔解释说：“这是艰难的部分-没有人可以教你如何运行它。”
Etsy根据其系统运行的级别来衡量可用性，以百分比计算。 随着Etsy工程师学会了如何在Kubernetes而非虚拟机上管理搜索应用程序，这一点下降了十分之几。
寻找合适的钩章鱼
费舍尔将Etsy形容为一座冰山，大多数客户看到的是市场，而不是存储在其5.5 PB的数据上。 由于Etsy依赖于用户生成的标记，因此公司要转换客户并保持他们的参与度，就需要构建更智能的算法和搜索功能。 当前，有80％的购买是由搜索结果的首页驱动的，因此，正确地完成电子商务网站至关重要。
Etsy市场上有超过6500万件独特的商品，该公司的数据科学家一直在寻找新颖的方法来为客户提供结果。 其中包括利用图像识别技术来完成诸如按样式对项目进行分类等操作。
[ 也在InfoWorld上：微小的云采用AWS，Microsoft Azure和Google Cloud ]
费舍尔说：“通常，样式仅限于一个类别，但要能够检测出衣服的样式并将其应用于地毯，就很难了。” “我们能够使用图像识别来做到这一点。”
Fisher补充说：“ Google的真正价值是我们真正需要的那些增值服务，例如大数据和机器学习。” “如果我们投资基础架构，我想与做得很好的人合作。”
谷歌流行的机器学习平台TensorFlow就是一个很好的例子。 正如Google技术计划经理丹尼·罗森（Danny Rosen）去年在Cloud Next的舞台上所说：“在Etsy上找到合适的钩针八达通吗？ 有点辛苦。 你打算怎么做？ 机器学习。”
关闭数据中心
自从转变以来的数字证明了该策略，尤其是在公司能够扩展以满足圣诞节等繁忙时期的需求的速度方面。
“在云中，我们可以在数分钟内启动数百台服务器，而要花费数月的预算，计划和安装服务器才能在数据中心获得相同数量的计算能力，” Fisher说。
由于迁移，该公司已经能够关闭其三个数据中心中的两个，并且它正在将最后一个数据中心合并为几个机架。 不过，暂时而言，该公司仍在为其开发环境维护正在维护的服务器。
由于降低了在云中运行的运营开销，Etsy说，它已经能够将其500多个工程团队中的15％转移到“堆栈上”，以专注于改善客户的用户体验。
迁移之后，该公司现在正在寻求转向更多的云原生工作模型，这可以从搜索应用程序以及其中容器和Kubernetes的使用中看出。
[ 通过InfoWorld的Cloud Computing Report新闻通讯了解云计算的最新发展 ]
如果他们能再做一遍？
费舍尔（Fisher）相信他们会按时完成迁移，如果再有机会，他们只会做另一件事。 “我认为了解我们应该提前采取的行动，而不是像往常那样解决，这是一个很大的学习。 在我们进行诸如Kubernetes之类的事情时，我们本来可以更具规范性，而没有实验性，”他说。
他确实承认此建议的Catch-22要素：只有在完成该过程之后，您才能了解应该和不应该采取的行动。 那么，另一家公司可以从他们的经验中学到什么呢？
他承认：“这只对我们有用，因为我们知道我们的能力是什么以及如何实现这一点。 那么您的工程文化能够快速适应这种情况吗？ 可能没有任何捷径。 你必须边走边学。”
etsy
110
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
