GPT-4变笨,回答新问题性能太差,想保持水准只能不断训练新模型

研究表明,大模型如GPT-4在处理训练数据后发布的新任务时性能下降,主要是由于缺乏持续学习能力,依赖于对训练数据的记忆。模型在旧数据集上表现好,而在新数据集上表现不佳,揭示了机器学习模型的‘任务污染’问题。不断训练新模型成为维持其性能的必要手段。
摘要由CSDN通过智能技术生成

网友们看了之后悲观地表示:目前很难构建能够持续适应且不会对已编码的过去知识和新知识造成灾难性干扰的机器学习模型。

最近由UCSC的研究人员发表论文,证明大模型的零样本或者少样本能力,几乎都是来源于对于训练数据的记忆。

昨天,一篇系统性地研究了GPT-4为什么会「降智」的论文,引发了AI圈的广泛讨论。

随着大家对GPT-4使用得越来越频繁,用户每过一段时间都会集中反应,GPT-4好像又变笨了。

最近的情况是,如果用户不小心和GPT-4说现在是12月份,GPT-4的输出的内容就会明显变少。

有一位用户专门做了一个测试,分别告诉GPT-4现在是5月份和12月份,然后对比输出结果,发现12月份的结果比5月份差了不少。

大家讨论都觉得是说GPT-4会给自己放寒假,看到12月份就不想干活了。

但是如果放在这篇论文中来看,作者认为,最主要的原因是大模型有一个现在看来几乎是无解的缺陷——缺乏持续学习和进化能力。

  • 14
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值