- 博客(2)
- 收藏
- 关注
RSS订阅原创 Datawhale AI 夏令营——大模型微调
1.通常的做法是截断预先训练好的网络的最后一层（softmax层），并用与我们自己的问题相关的新的softmax层替换它。数据集3 - 数据量大，数据相似度低在这种情况下，由于我们有一个大的数据集，我们的神经网络训练将会很有效。但是，由于我们的数据与用于训练我们的预训练模型的数据相比有很大不同。数据集2 - 数据量少，数据相似度低在这种情况下，我们可以冻结预训练模型的初始层（比如k层），并再次训练剩余的（n-k）层。如果不太相似，效果可能就没有那么好了，特征提取是不同的，所以相应的参数训练后也是不同的。
2024-08-17 20:34:39
938
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人