GPT3问世已经半年之久了,GPT3模型在刚刚问世之前一段不可思议,超出预期,可后期却有点后劲无力了,被测出各种badcase,今天一起吃瓜看看吧!
喧嚣
GPT-3 是著名人工智能科研公司 OpenAI 开发的文字生成 (text generation) 人工智能,相关论文今年5月份已经发表,当时就以天文数字级别的1,750亿参数量引发轰动。7月份时候GPT3提供了对商业公司、学校和个人可以使用的OpenAI api供研究者自行调用,自此研究者做了五花八门的应用,名噪一时。随便看一个GPT3常识推理的能力吧!
GPT3的特点:
生成式语言模型,自回归训练,GPT3最大的特点就是大,有史以来最大参数,总共1750亿参数,改不起bug,大多数人用不起,在阅读理解和新闻制造方面GPT3达到了人均水平,其他很多任务上并没有达到sota结果。GPT3最大的特点是泛化性非常强,这也是其接近强人工智能的特点,正如那句话:有钱能使one_shot干翻bert。下面给出别人做的few-shot的一些实验。
经历半年体验暴露的问题:
1、序列过长的逻辑问题
比如“盒子里有一块玻璃球,一枚回形针,放