accelerate 笔记：进程管理

• 在使用分布式训练系统时，管理各个进程在 GPU 上的执行时间和顺序非常重要。
• 一些进程会比其他进程更快完成，有些进程在其他进程未完成之前不应该开始执行

1 每台机器进行一次

@accelerator.on_local_main_process
def do_my_thing():
    do_thing_once_per_server()

示例: 如果在一个由多台机器组成的集群上运行训练作业，并希望每台机器都独立打印它们的日志信息，可以使用 on_local_main_process() 

2 所有机器只进行一次

@accelerator.on_main_process
def do_my_thing():
    do_thing_once()

示例: 如果在多台机器上运行训练作业，并且只希望最终的模型上传操作在所有进程中执行一次，可以使用 on_main_process() 

3 在特定进程上进行

@accelerator.on_process(process_index=0)
def do_my_thing():
    "Something done on process index 0"
    do_thing_on_index_zero()



@accelerator.on_local_process(local_process_idx=0)
def do_my_thing():
    "Something done on process index 0 on each server"
    do_thing_on_index_zero_on_each_server()

• 这两个的区别是
  • on_process()
    • 在整个分布式系统中，根据指定的进程索引执行函数
    • 适用于在特定全局进程上执行的操作，不论该进程在哪台机器上
    • eg：如果希望某个操作只在进程索引为0的进程上执行（不管该进程在哪台机器上），可以使用 on_process()
  • on_local_process()
    • 在每台机器上，根据指定的本地进程索引执行函数
    • 适用于在每台机器的特定本地进程上执行的操作
    • 如果希望某个操作在每台机器上的本地进程索引为0的进程上执行，可以使用 on_local_process()

4 延迟执行

• 当在多块 GPU 上同时运行脚本时，有些代码可能比其他代码执行得更快。
• 需要等待所有进程到达某个点后再执行下一组指令。
  • 例如，在确保每个进程都完成训练之前不应该保存模型。
• 此时，需要在代码中添加 accelerator.wait_for_everyone()。这会阻止已完成的进程继续，直到所有剩余进程都到达相同的点