社区周刊今日改版!汇聚每周AI热点,不错过重要资讯!欢迎扫码,关注并订阅智源社区AI周刊。
提示工程模拟人类思考模式,推理等任务迎来曙光
谷歌近日发布的新提示工程方法,再次说明了数据和训练方式对大模型性能的影响。今年早些时候提出的Chain-of-Thought(CoT)方法,结合其他指令微调方式,在PaLM、T5等模型上进行了验证,让30亿规模的模型性能超过了1750亿的GPT-3。智源社区也邀请了该论文通讯作者侯乐做报告分享。
同时,Self-consistency和Least-to-most方法,模仿了人类在推理中的多策略投票和复杂问题拆解机制,或许在将来也能够在大模型上进行验证。提示工程融合人类思维模式的方法,相比单纯的无监督语料学习提供给了大模型更多建模人类思考方式的能力。