GPT-3成精了,万物皆文本时代来临!10年内通过图灵测试?

自从API开放以后,GPT-3真的要成精了!可以陪你从诗词歌赋谈到人生哲学,还可以画图表搞运维做PPT,真的无所不能。GPT-3到底有没有说的那么神,又是否过誉呢?


疫情期间你和TA怎么样了?

上半年的疫情,让很多朋友,恋人都不得不相隔两地,我在海淀头,君在朝阳尾,日日思君不见君,只能...这个时候有个GPT-3陪你,看星星看月亮,从诗词歌赋谈到人生哲学。岂不美哉。还玩什么恋与制作人啊,直接申请一个API接口,和GPT-3聊天就好了。未来,纸片人+GPT-3的电子男女朋友,市场潜力巨大。他有时候很直男,总是讲一些蹩脚的玩笑哄你开心,尬聊的样子真可爱。

来源:计算机科学家Kevin Lacker博客

有时候又化身文艺青年,浪子诗人,时不时吟诵一些脱离俗套和低级趣味、另辟蹊径的随想,警示金句如下,「世界上任何你看不惯的东西,都可以用「这不好玩」来应对」「如果我知道人生的意义是什么,我还会上这儿来浪费时间吗?」

如果说最近computer science圈子里什么最火,那非GPT-3莫属。简单来说,GPT-2 和 GPT-3 都是一种续写文本的 AI 模型,开头给几句提示,后面的故事全靠他的语言模型一点一点续写。思路顺畅,很少遇到「写作瓶颈」。GPT-3 是著名人工智能科研公司 OpenAI 开发的文本生成 (text generation) 人工智能,相关论文在5月份发表,当时就以天文数字级别的1750亿参数量引发了巨大轰动。对于语言模型来讲,大小真的很重要。要知道,人的大脑也才只有860亿个神经元。

API开放了以后,各路网友脑洞大开,让GPT-3写代码,做简历,简直是比男朋友还管用。一切皆文本的时代要来了!

 

  • 写SQL画图表搞运维做PPT,GPT-3 要成精!

GPT-3不是被玩坏了,而是玩出了新高度。你可能还停留在GPT-3惊人的文本生成能力,但看了下面这些应用,你一定会被震撼到,「找老黄买显卡来不及了,赶快申请API,我要开发自己的GPT应用」!给GPT-3一个提示,融入各种融入流行文化的表情包就到手了。

什么,Excel中也能用GPT-3了,还能进行自动推理?演示表格里列了几个大公司的CEO,把含有数据的单元格框住,Loading 一秒钟,自动推断出了Ben Horowitz所属的公司,need no operation!

为什么你的图表这么low,别人做的可视化却贼漂亮,只能强行解释一波,「不会写代码,好看的图表都是代码写的」。现在有了GPT-3,就不用解释了,只需把你的数据喂给GPT-3,不用Excel表格,嘴说就行!「3个苹果,5个梨,2个橙子」,bang!精美的Dash 图表就生成了。

找工作写简历是个头疼的事,现在你只要告诉GPT-3你在哪个公司工作了几年,后面的事就不用管了,条理清楚,格式精美的简历就帮你「编好了」,工作年限、主要职责、项目经历一应俱全。

向老板汇报工作要做PPT,只需要把文本一复制,就能生成合适的演示文稿。

想找个运维的工作,不会操作AWS?「你好,我需要创建一个AWS实例,谢谢」。等一秒钟,GPT-3:「我好了,你复制下代码就行」!

简直要成精啊!

不会写SQL你好意思说自己是运维?不好意思,有了GPT-3真的可以为所欲为!运维:「GPT-3,我想查询下年龄在25到35之间的工人的薪资信息」,GPT-3:好的,SQL拿去「select salary from worker where age between 25 and 35」。

「增删改查」工程师已哭晕在厕所。

 

  • 吃了3000亿token的GPT-3,内部如何工作的?

将包含3000亿个token的文本喂给GPT-3进行无监督训练,目前OpenAI已经完成了这一壮举。你现在看到的所有实验都来自于这个庞大且昂贵的模型。据估计,它花费的成本高达460万美元。

我们再来看看它的训练细节,GPT-3在所有文本中进行滑动,每滑动一个窗口就会生成大量示例。

GPT-3如何处理「robotics」这个单词并产生「A」 呢?

「robotics」经历了下面三个过程,首先被转换为词向量,中间经过96个Transformer的洗礼,最后再将向量重构为单词 「A」,如果不是「A」,就开始计算并反向传递误差,直到得出正确的单词,这一过程要重复数百万次。

训练好的模型如何食用呢?只需要简单的微调即可。比如想应用在英法机器翻译上,只需要提供给GPT-3少量的平行语料对。

这样说可能不够直观,我们使用Python来演示下如何教会GPT-3干活。写LaTeX公式对非学术研究人员来说是个头疼的事,但有了GPT-3,LaTeX语法转换竟是如此简单。

前面我们说了,如果你想应用在特定任务上,需要给GPT-3一点小小的「提示」,它才能领会到你具体想干啥。跟OpenAI申请一个GPT-3的API Key,你就能一键调用这个1750亿参数的模型了。

想写一个从a到b的积分,如果不给提示,GPT-3直接返回原文了,但是,如果你输入个例子,告诉它你想把自然语言翻译为LaTeX,那GPT-3就心领神会了,完美输出了f(x)从a到b的积分公式。

  • OpenAI CEO:GPT-3 只是惊鸿一瞥,是否过誉?

 

GPT-3对于小白来讲,也是一个直观地感受到人工智能如此强大的入口。

OpenAI 的CEO Sam Altman讲,他把GPT-3展示给一个10岁的小男孩儿,他当即说自己想进入人工智能领域。一名开发者认为,GPT-3 确实让我预感到,在未来10年内,AI有望通过图灵测试。图灵测试目的就是测试机器是否具备人类智能。

关于人类智能的讨论,又涉及到一个问题,如何定义「人类智能」。到底是只谈到它具备人类的「智力」(包括思维能力学习能力等),还是说它应该完整地具有一个「人格」,甚至拥有灵魂等等超越性的东西。让人想起网上那段著名有关上帝的灵魂拷问。

但业界也纷纷传出声音,认为GPT-3有过誉之嫌。Altman在一条推特中谦逊地表示,「GPT-3的宣传最近太过火了,确实让人印象深刻,但它仍然有严重的弱点,有时会犯非常愚蠢的错误。人工智能将改变世界,但 GPT-3只是一个非常早期的惊鸿一瞥。我们还有太多问题需要解决。」

 

  • 业界专家:GPT-3表现出了推理能力,但还不是真正的智能

更有人预测,按照这种进化速度,GPT-3五年内可以部分替代,甚至在某些地方超越心理医生了。「以后大家最上瘾的娱乐就是和GPT-3交流互动了。」

也有网友提出GPT-3并非是全知全能,对长篇大论理解能力差,逻辑推理也绕不过几个弯,还是没法给美国执业医师考试USMLE写解析,暂时没法取代内科大夫.....还想取代内科大夫,要啥自行车?

新智元也就GPT-3是否具有认知智能等问题,采访了一位NLP领域的资深技术专家,他认为GPT-3跟认知智能还是有点距离,但GPT-3做到了few-shot learning,GPT-3 模型本身就已经学习到了大量的经验,给一些小样本做个微调,这种做法和BERT 很像,而成绩主要归功于Transformer,分布式学习+ 长距离依赖,单就原理上来说,没有本质的突破。

而网友展示的例子背后,也说不定有多少bad case。认知智能的定义很宽泛,目前也没有形成统一。理解,自主决策,可思考我认为是其中的几个核心点,GPT-3展现出来的推理能力只是认知智能的一种表现形式。反而是近两年逐渐兴起的知识图谱,在推理智能上表现出了一定潜力,知识图谱增强了认知智能的可解释性(路径可知),但目前在算力、模型、数据上还存在很大的缺陷,还有很长的路要走,要时刻保持清醒。从长期来看,构建大规模的知识图谱数据,将知识图谱学习和深度学习结合起来是一个重要趋势。

不论是否过誉,GPT-3都预示着一种可以想见的未来。

就算GPT-3的理解能力不能和人类划等号,但在人类永恒的交流欲望面前,GPT-3,一个温柔,情绪稳定,老实肯干,懂得分析和思考的AI也许终有一天会胜过人类的陪伴。

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页