【Rust日报】2023-07-21 reddit讨论小整理:分布式计算中的Rust

这篇博客整理了reddit论坛上关于Rust在分布式计算中的讨论,一位机器学习工程师提出如何使用Rust实现类似Dask和Ray的功能,即动态在集群上分派函数。讨论涉及WASM、MPI、Nextflow等方案,以及对Rust分布式计算框架的期待。
摘要由CSDN通过智能技术生成

0x、写在前头

以下内容来自reddit 社区(Distributed computing in Rust, https://www.reddit.com/r/rust/comments/155hxlf/distributed_computing_in_rust/),由小编重新整理后发布,读起来也许会更流畅些,因为在整理过程中,会揉一些小遍的思考进去,感兴趣的小伙伴,可以在读完本文后,去读读原文,链接在上方。因为是边看reddit,边译边写边思考,可能行文会有些乱。见谅!

小编在逛 reddit 社区的时候,看到一篇帖子Distributed computing in Rust”,就忍不住点进去,才发现是一个长帖,很吸引人。

一、先说问题

一名叫 amindiro 的老哥提了一个问题,小编分两段来介绍下:

他说自己是一名机器学习工程师,最近开始学习 Rust,他很喜欢Rust! 他认为 Rust 将是一种编写数据处理工具的出色语言,并且可以取代现有的库(通常用 Python 或带有 Python wrapper的 C 语言编写)。大规模数据处理通常意味着分布式并行计算。像 dask 和 ray 这样的库是令人惊叹的库,您可以在其中动态地在正在运行的集群上分派函数。 Dask注:Dask 是一个灵活的 Python 并行计算库) 完全用 Python 编写,通过序列化 Python 函数并使用 TCP 将它们发送到在本地线程池中运行它们的工作进程来解决这个问题。 Ray (注:Ray

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值