为什么我用Go写机器学习部署平台,而偏偏不用Python?

点击上方“Python高校”,关注

文末干货立马到手

     

   正文   

【导读】虽然在机器学习中,Python已经无孔不入。但Python并不是全能之神手中的魔杖可以为所欲为。很多情况下其实用Python的效果并不如其他语言,比如Go更好,甚至可能更糟。本文介绍了为什么在作者的工作环境下选择Go而非Python的理由,引发社区关注和热议。

编程语言就是一个江湖,永远有人觊觎霸主的位子。

Python如今却稳坐编程语言界的霸主,尤其是在机器学习领域,所有主流机器学习框架都在用Python。

然而即使是被绝大多数人认可的Python,也并非真的无所不能,也有让其无能为力、无中生有的情况。

Python引以为豪的机器学习算法,只是机器学习系统的一个组成部分。要实际大规模运行生产机器学习API,还需要实现以下功能的基础架构:

自动缩放,以便流量波动不会破坏您的APIAPI管理,以处理的API部署滚动更新,以便您可以在更新模型的同时仍为用户提供服务

对于像Cortex这样的开源机器学习部署平台,旨在使所有这些基础架构自动化,以及日志记录和成本优化等其他方面的关注,作者Caleb Kaiser认为相比Python而言,Go更合。

相比于出身寒门、一个应届生的圣诞节无聊之作的Python,Go语言出自Google,作者是三位宗师级人物:Rob Pike、Ken Thompson 和 Robert Griesemer。在以下方面超越了Python:

并发对于机器学习基础架构至关重要

用户可以将许多不同的模型部署为不同的API,所有模型都在同一个Cortex集群中进行管理。

为了让Cortex Operator能够管理这些不同的部署,需要纠缠一些不同的API。

Cortex调用Kubernetes API在集群上部署模型;同时也需要考虑各种AWS API(EC2 Auto Scaling,S3,CloudWatch等)

用户不会直接与任何这些API进行交互,取而代之的是,Cortex以编程方式调用这些API来供应集群,启动部署和监视API。

以一种有效,可靠的方式进行所有这些重叠的API调用是一个挑战。

同时处理它们是最有效的处理方式,但同时也引入了复杂性,因为现在我们不得不担心诸如竞赛条件之类的事情.Go有一个优雅的,开箱即用的解决方案来解决这个问题:Goroutines。

Goroutines是正常的Go并发执行的功能。许多Goroutine可以放在一个OS线程上,如果Goroutine阻塞了OS线程,则Go运行时会自动将其余Goroutines移至新的OS线程。

Goroutines还提供了一个称为“通道”的功能,允许Goroutines执行在彼此之间传递消息,使我们能够调度请求并避免出现竞争情况。

使用asyncio等最新工具在Python中实现所有这些功能可能是可行的,但是Go的设计充分考虑了这种用例,这一事实使我们的生活变得更加轻松。

在Go中构建跨平台CLI更容易

Cortex CLI是一种跨平台工具,允许用户直接从命令行部署模型和管理API。

下面的GIF显示了正在使用的CLI:

事实证明,Python编写的CLI尝试在各种平台之间分发太困难了。

因为Go可以编译成一个二进制文件(不需要依赖管理),所以它为我们提供了一个在平台之间分发CLI的简单解决方案,而无需进行过多的工程工作。经过编译的Go二进制文件和解释型语言的性能优势也很明显。

根据计算机基准测试游戏,Go的运行速度比Python快得多。许多其他基础结构CLI工具都是用Go编写的,这并非巧合,这使我们进入了下一步。

Go生态系统非常适合基础设施项目

开源的好处之一是,您可以从自己欣赏的项目中学习。 例如,Cortex存在于Kubernetes(本身用Go编写)生态系统中。 我们很幸运能够在该生态系统中学习到许多出色的开源项目,其中包括:

  • kubectl:Kubernetes的CLI

  • minikube:一种在本地运行Kubernetes的工具

  • helm:Kubernetes程序包经理

  • kops:用于管理生产Kubernetes的工具

  • eksctl:Amazon EKS的官方CLI

以上所有内容都是用Go语言编写的,而不仅仅是Kubernetes项目。

无论你是在看CockroachDB还是Hashicorp的基础设施项目,包括Vault,Nomad,Terraform,Consul和Packer,它们都是用Go编写的。

Go在基础设施领域的流行还有另一个影响,这就是大多数工程师都感兴趣!在基础架构方面工作的人对Go很熟悉,这使得吸引工程师更加容易。

用Go是一种乐趣

相对于Python,Go入门起来有点痛苦,但这是指暂时的。一旦你跨越了门槛,进入Go的世界里,你会发现简直是“一马平川”。

Go宽容的性格使它对于大型项目而言如此令人愉悦。

除此以外,相比Python,Go的优势还体现在:

  • 拥有非常棒的编译器,编译器可以检测出你犯的所有低级错误

  • 更好的并行性。Go 语言就是为并行而生的

  • 部署简单。代码所需要的所有依赖都在一个二进制文件里

  • 风格一致。格式化工具会让所有代码风格都保持一致

  • 更便捷的工具。一个编辑器+插件满足几乎所有需求,都不需要IDE

适用于机器学习的Python,适用于基础架构的Go

Cortex服务于TensorFlow,PyTorch,scikit-learn和其他Python模型,这意味着与这些模型的接口以及推理前后的处理,用Python完成。

但是,即使将Python代码打包到了Docker容器中,这些容器都是用Go语言编写的代码精心编排的。如果你有兴趣成为一名机器学习工程师,那么了解Python是必须的。

但是,如果你对使用机器学习基础结构感兴趣,则应认真考虑使用Go。

来和小伙伴们一起向上生长呀!

扫描下方二维码,添加Gao微信,可领 Python和AI 学习大礼包,想发推文、广告、砍价小程序的敬请绕道!一定记得备注「交流学习」。

????长按识别,添加微信

(添加人数较多,会自动通过)

推荐:

开源库

Python 开发者必知的 11 个 Python GUI 库

10款 Web开发最佳的 Python 框架

推荐 GitHub 上100天学习 Python的开源项目

Python绘图还在用Matplotlib?out了 !发现一款手绘可视化神器!

面试

我用  Python 爬了天猫内衣店的数据Python爬完数据后,我终于买车不用坐引擎盖哭啦

1年工作经验,拿下今日头条 Python 开发面经分享!

Python 面试中 8 个必考问题

面试 4 个月,最终入职微软!

10 家公司 Python 面试题总结

面试了9家公司,拿到5份Offer

面试Python怕? 你想要的315道题都在这了

如何拿到半数面试公司Offer——我的Python求职之路

学习路线

基于TensorFlow 2.0的中文深度学习开源书来了!GitHub趋势日榜第一,斩获2K+星

微软官方上线了Python 教程,7个章节就把Python说通了

最全 14 张思维导图:教你构建 Python 编程的核心知识体系

  Python 从入门到精通:一个月就够了!

  24招加速你的Python,超级实用!

即学即用的 30 段 Python 非常实用的代码

工具

最靠谱的Pycharm 汉化安装+ 破解详细教程!

Python数据分析、挖掘常用工具

Python 最强 IDE 详细使用指南!

一款 Python 自动抢票神器,收藏起来回家不愁!

实践和数据分析

Python 开发植物大战僵尸游戏

用 Python 来找合适的妹子

一键分析你上网行为,看你是在认真工作还是摸鱼

Python给照片换底色,基于opencv模块

10个经典的小技巧:快速用 Python 进行数据分析

使用 Python 进行微信好友分析

爬虫

我给曾经暗恋的初中女同学,用Python实现了她飞机上刷抖音

为了能早点买房,我用 Python 预测房价走势!

被女朋友三番五次拉黑后,我用 Python 写了个“舔狗”必备神器

谁偷偷删了你的微信?别慌!Python 揪出来为了给女友挑合适的内衣,我用  Python 爬了天猫内衣店的数据Python爬完数据后,我终于买车不用坐引擎盖哭啦

这里除了干货一无所有

看完本文有收获?

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值