m0_49448331的博客

map 一下所对应的 module forward 函数名字 得到 RANK 私有的 self.forward_funcs & self.fwd_map,之后便可以使用 self.module() 内存有不同的 module 数据,此时每张卡内已经存有不同的 model 结构了.之后初始化 engine 时,传入的便已经是分区好的model.根据每个 RANK 所保存的不同。作用：将模型放置在设备中。

1 list(简写 l)： 查看源程序代码，默认显示10行，按回车键继续看余下的。9 finish，简写fin，执行完某一个函数，并返回函数的执行结果。2 print命令的简写形式为p，使用它打印出变量的值。7 layout src 图像化界面，查看源代码。10 disable [断点标号] 使断点无效。执行至程序的特定的行。11 able [断点标号] 使断点恢复。5 n 执行下一步 c 程序继续运行。6 info b 查看断点信息。3 执行“bt”看一下调用栈。调用main（）函数。

在 Python 中，（格式化字符串字面值）

创建一个新列表，将原有列表复制到新列表中；,一个能够对python运行内存可视化的网站。任意两个元组相加始终返回一个新分配的元组。

python的交互式命令有两种。一种是CPython，一种是ipython。

huggingface库太老了，升级一下即可。