书生·浦语大模型全链路开源体系学习随笔

1.通用大模型的核心在于，使用一个模型应对具有多种模态的多种任务。

2.大语言模型具有内存开销巨大、动态Shape、模型结构相对简单等特点，对设备、推理、服务提出了技术挑战，对应的部署方案具备模型并行、低比特量化、Attetion优化、计算和访存优化、Continuous Batching等技术点。

3.大模型本质上其实是在做语言建模这件事情。

4.书生浦语2.0的亮点

给出这种非常充满人文关怀的对话：