大模型中的拟合问题与解决思路

1. 过拟合

定义

训练数据上表现得过于优秀，在未见过的测试数据上表现不佳。

触发条件

通常发生在模型过于复杂或训练数据量不足或者不均衡的情况下。

解决措施

• 添加 Dropout 层。
• 进行数据增强。

2. 欠拟合

定义

模型的表示能力不足以捕捉数据中的复杂模式。

触发条件

模型可能无法很好地拟合训练数据，导致性能不佳。

解决措施

增加训练数据。