0x、写在前头
以下内容来自reddit 社区(Distributed computing in Rust, https://www.reddit.com/r/rust/comments/155hxlf/distributed_computing_in_rust/),由小编重新整理后发布,读起来也许会更流畅些,因为在整理过程中,会揉一些小遍的思考进去,感兴趣的小伙伴,可以在读完本文后,去读读原文,链接在上方。因为是边看reddit,边译边写边思考,可能行文会有些乱。见谅!
小编在逛 reddit 社区的时候,看到一篇帖子Distributed computing in Rust”,就忍不住点进去,才发现是一个长帖,很吸引人。
一、先说问题
一名叫 amindiro 的老哥提了一个问题,小编分两段来介绍下:
他说自己是一名机器学习工程师,最近开始学习 Rust,他很喜欢Rust! 他认为 Rust 将是一种编写数据处理工具的出色语言,并且可以取代现有的库(通常用 Python 或带有 Python wrapper的 C 语言编写)。大规模数据处理通常意味着分布式并行计算。像 dask 和 ray 这样的库是令人惊叹的库,您可以在其中动态地在正在运行的集群上分派函数。 Dask(注:Dask 是一个灵活的 Python 并行计算库) 完全用 Python 编写,通过序列化 Python 函数并使用 TCP 将它们发送到在本地线程池中运行它们的工作进程来解决这个问题。 Ray (注:Ray