Fast Python Serialization with Ray and Apache Arrow

这篇文章详细阐述了Ray和Apache Arrow之间的集成。解决的主要问题是数据序列化。

查阅Wikipedia，序列化指：

将数据结构或对象状态转换为可以存储...或传输的格式的过程...以及稍后重建（可能在不同的计算机环境中）

为什么需要上述的转换？

当你创建一个Python对象时，它可能指向其他Python对象，并且这些对象都分配在不同的内存区域中，并且所有这些都必须在另一台机器上的另一个进程上处理才有意义。

序列化和反序列化是并行和分布式计算的瓶颈，尤其是在具有大型对象和大量数据的机器学习应用程序中。

 

 

 

设计目标

由于Ray针对机器学习和AI应用程序进行了优化，因此我们将重点放在序列化和数据处理上，并具有以下设计目标：

 

1. 对于大型数值数据（包括NumPy数组和Pandas DataFrames，以及递归包含Numpy数组和Pandas DataFrames的对象），它应该非常高效。

2. 对于一般的Python类型，它应该和Pickle一样快。

3. 它应该支持共享内存，允许多个进程使用相同的数据而不复制它。

4. 反序列化应该非常快（如果可能，它不应该要求读取整个序列化对象）。

5. 它应该是与语言无关的（最终我们希望Python worker能够使用Java或其他语言的worker创建的对象，反之亦然）。

 

方法和替代方案

Python中的首选序列化方法是pickle模块。 Pickle很通用，特别是如果你使用像cloudpickle这样的变种。 但是，它不满足要求1,3,4或5.像json这样的替代品满足5，但不满足1-4。

 

我们的方法：为了满足要求1-5，我们选择使用Apache Arrow格式作为基础数据表示。 与Apache Arrow团队合作，我们构建了用于将常规Python对象映射到Arrow格式和从Arrow格式映射的库。 这种方法的一些属性：

 

• 数据布局与语言无关（要求5）。

•  

  可以在