什么是 fine-turning?

fine-tuning就是使用已用于其他目标、预训练好模型的权重或者部分权重,作为初始值开始训练。

那为什么我们不用随机选取选几个数作为权重初始值?原因很简单,第一,自己从头训练卷积神经网络容易出现问题;第二,fine-tuning能很快收敛到一个较理想的状态,省时又省心。

那fine-tuning的具体做法是?
  • 复用相同层的权重,新定义层取随机权重初始值
  • 调大新定义层的的学习率,调小复用层学习率

  • 4
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
自然语言模型、RLHF、GIM和finetuning都是深度学习中用于处理自然语言处理问题的技术。它们之间有许多相似之处,但也存在一些不同之处。 自然语言模型是一种用于预测自然语言文本中下一个单词或字符的概率的技术。它通常使用递归神经网络或卷积神经网络来训练模型,使其能够根据前面的单词或字符预测下一个单词或字符。自然语言模型常用于自然语言生成、机器翻译和语音识别等任务。 RLHF(Robustly Labeled Heterogeneous Flow)是一种用于处理自然语言文本分类的技术。它使用卷积神经网络和循环神经网络来处理文本,并通过集成多个分类器来提高鲁棒性。RLHF通常用于文本情感分析、文本分类和垃圾邮件过滤等任务。 GIM(Generative-Inference Matching)是一种用于生成式和推理式自然语言处理任务的技术。它使用一个生成模型和一个推理模型来处理文本,并通过匹配两个模型的输出来提高性能。GIM通常用于问答系统、对话系统和自然语言推理等任务。 finetuning是一种用于在预训练模型上微调特定任务的技术。它通常使用预训练的自然语言处理模型(如BERT、GPT等)来处理文本,并在特定任务上微调模型参数。finetuning通常用于文本分类、命名实体识别和情感分析等任务。 总的来说,这些技术都是用于处理自然语言处理问题的技术,但它们的具体应用和实现方式有所不同。自然语言模型和RLHF主要用于文本分类和生成,而GIM则更多地用于问答和推理,而finetuning则是一种通用的技术,可用于各种自然语言处理任务。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

泡泡码客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值