大模型总结

一、什么是大模型

自监督学习：从数据本身找标签，不需要额外提供label，例如语言模型。

无监督学习：没有明确目的，从数据分布角度构造损失函数，例如聚类

半监督学习：利用少量有标签的数据和大量无标签的数据来训练网络，让学习器不依赖外界交互、自动的利用未标记的样本提升学习性能，就是半监督学习。

小模型通常指参数较少、层数较浅的模型，它们具有轻量级、高效率、易于部署等优点，适用于数据量较小、计算资源有限的场景，例如移动端应用、嵌入式设备、物联网等。

大模型（Large Model,也称基础模型，即 Foundation Model），是指具有大量参数和复杂结构的机器学习模型，能够处理海量数据、完成各种复杂的任务。

从过去的 AI 1.0 到今天的 AI 2.0 时代，最大的变化是：过去，算法研究者会面向每一个应用类别的数据来开发一个专门的算法模型，而现在，我们会使用所有的数据训练一个基础模型，再利用各行各业的专业数据，对基础模型进行微调，来完成各行各业的任务。对做系统或做硬件的人来说，只需要考虑如何优化这一个基础算法就可以了。