deepspeed解决多卡inference的时候，hosts内存爆表的问题

由于deepspeed在启用多卡推理的时候，需要进行多个进程的载入，会导致一份transformers的weights被多个进程重复加载，用来替换子图用，导致在载入的时候，如果基础weights过大，那么需要的hosts内存就会巨大无比。

以llama-65B来举例，如果切分成TP 16，那么所需的weights大小就是：

65B * 2 * 16大小，这在很多电脑上都吃不消。

deepspeed提供了meta载入的方式，但是依旧解决不了需要载入原始模型的问题，因为如果要切子图，就需要至少可以把原图载入进来。

将代码跟下去可知，deepspped在init_inference的时候，会有个一些通信算子，因此可以通过如下方式解决这个问题。

1. 多进程依次载入

2. 每次只执行1个进程的weights切分

3. 切分之后将子图保存。

4. 利用load_dict的方式，以meta加载原图，然后切分之后再将子图weights进行load_dict，从而达到每个进程只载入1/tp的weights的目的。