分布式框架Ray的高级模式：重叠计算与通讯

重叠计算与通信

有时，应用程序的一个组件既需要进行计算密集型工作，又需要与其他进程通信。
理想情况下，您希望重叠计算和通信，以尽量减少不执行计算密集型工作所花费的时间。
如果您等待远程任务返回，那么CPU进程将是空闲的。

在某些情况下，这种行为是不可取的，例如：

• 如果计算一个工作项所花费的时间比系统中的RTT时间长得多，这就不太可能有显著的好处。
• 如果计算每个任务(或本例中的工作项)的时间是高度可变的，则可以通过将小任务阻塞在大任务之后来增加它们的延迟

在下面的示例中，worker actor从队列中提取工作，然后对其进行一些计算。

在较差的代码示例中，我们在请求工作项后立即调用ray.get()，因此在RPC（远程过程调用）运行时阻塞，导致CPU时间空闲。
在正确的代码示例中，我们在处理当前工作项之前先发制人地请求下一个工作项，这样我们就可以在RPC运行时使用CPU。

"坏模式：不重叠计算与通信"
@ray.remote
class Worker :
    def __init__ (self, work_queue):
        self.work_queue = work_queue
    def run (self):
        while True :
        	"先执行RPC（远程调用），在CPU中执行（获取对象）"
            # Get work from the queue.
            work_item = ray.get(self.work_queue.get_work_item.remote())
            # Do work.
            self.process(work_item)
"好模式：重叠计算与通信"
@ray.remote
class Worker :
    def __init__ (self, work_queue):
        self.work_queue = work_queue
    def run (self):
        self.work_future = self.work_queue.get_work_item.remote()
        while True :
        	"这两步是可以并行计算的（RPC和CPU同时使用）"
            # Get work from the queue.
            work_item = ray.get(self.work_future)
            self.work_future = self.work_queue.get_work_item.remote()
            # Do work.
            self.process(work_item)