大模型相关技术汇总分析

完整的大模型由：芯片层->框架层->模型层 组成

大模型训练过程：大模型一定是分布式训练，例如Paddle框架常采用四个策略：

1、流水并行策略；

2、模型并行策略；

3、数据并行策略；

4、分组参数切片，Sharding策略。

即从数据，模型，参数及执行四个方面均获得了最佳训练效果。

训练过程中的优化从四个角度进行分析：

1、IO处理优化；

2、计算效率优化；

3、通信效率优化；

4、现存效率优化。

大模型是今年最火的概念，大模型时代必备技巧之一是-----提升工程(Prompt Engineering)。

随着大模型技术的发展，基于prompt方式对模型进行微调获得输出是非常普遍的做法，为获得更好的输出，对prompt进行微调是非常重要的。