点击上方“芋道源码”,选择“设为星标”
管她前浪,还是后浪?
能浪的浪,才是好浪!
每天 10:33 更新文章,每天掉亿点点头发...
源码精品专栏
GPT-4发布一天之后,压力全部给到百度这边。
就在刚刚,百度交卷。
文心一言 ,百度全新一代知识增强大语言模型,正式在百度总部“挥手点江山”会议室里发布。
在一片静寂的氛围里,李彦宏 小步登场,语气里带着点紧张:
大家的期望值,是我们对标ChatGPT,对标GPT-4,这个门槛有点高(笑)。
十月怀胎,我们就带大家来看看这个AI大模型文心一言长什么样。
此前,有人狂转meme图把百度比作GPT-4旁边的箱子。
![77939d132ce40d2ee4ac7e3fc013b039.png](https://img-blog.csdnimg.cn/img_convert/77939d132ce40d2ee4ac7e3fc013b039.png)
也有人鼓吹百度是全村的希望。
而在发布会进行的同时,百度港股市值先是下跌,相关话题还冲上了微博热搜,不过在会后又回调了一波。
![a4805929e727420324d2353d52585507.png](https://img-blog.csdnimg.cn/img_convert/a4805929e727420324d2353d52585507.png)
但直播弹幕中也有网友点赞:
![142f9e0f4e9a899a1ef0cdcb3782f6d1.png](https://img-blog.csdnimg.cn/img_convert/142f9e0f4e9a899a1ef0cdcb3782f6d1.png)
那么这个中国版ChatGPT 到底实力如何?
咱们就用百度发布会演示的预录制Demo,对比一下崭新出炉的GPT-4,先凭实力说话。
文心一言 vs GPT-4
和GPT-4一样,文心一言是一个多模态大模型 。
李彦宏开场就展示了文心一言具备的5种能力,包括文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成 。
文心一言甚至还现场秀了一口接地气的四川话,现场网友发出一片笑声
其他能力如何?我们具体展开来看。
文学创作
在文学创作上,李彦宏一开场就搬出了《三体》作者刘慈欣坐镇。
先让文心一言介绍一下大刘,“毕竟我也是刘慈欣老乡嘛”:
![51643f1f5cf70fb394450ba9a054e01c.gif](https://img-blog.csdnimg.cn/img_convert/51643f1f5cf70fb394450ba9a054e01c.gif)
看起来没什么问题。同样的问题问问GPT-4呢?
![ac83b21796a3b884c5ab86caabd8920e.png](https://img-blog.csdnimg.cn/img_convert/ac83b21796a3b884c5ab86caabd8920e.png)
嗯???直接把刘慈欣的老家挪到了湖北省洪湖市。湖北人狂喜。
随后,李彦宏又展示了从哲学的角度对这段文章进行续写的demo:
![b34f9229c1798cb5fe56e4c0fa8d1b3f.gif](https://img-blog.csdnimg.cn/img_convert/b34f9229c1798cb5fe56e4c0fa8d1b3f.gif)
看起来中规中矩,比较理性。老样子,我们也来与GPT-4进行一波对比:
![9b649372bf36548bb6bb9a84d10897f7.png](https://img-blog.csdnimg.cn/img_convert/9b649372bf36548bb6bb9a84d10897f7.png)
这波你是想看GPT-4续写的《三体》,还是文心一言的?
再来看看《三体》电视剧中扮演史强和汪淼的老搭档,于和伟和张鲁一,有什么共同点?
![be9e874fd7a332da755a5945d8711578.gif](https://img-blog.csdnimg.cn/img_convert/be9e874fd7a332da755a5945d8711578.gif)
也没什么问题。
就是看起来展示的速度有点快,比李彦宏的语速还要快上那么一点点(手动狗头)。
![5305930d1d742250b624772e61e21402.gif](https://img-blog.csdnimg.cn/img_convert/5305930d1d742250b624772e61e21402.gif)
商业文案创作
接下来,李彦宏又展示了一下文心一言在商业文案创作上的能力。
比如给新公司起个名字。
![12b3f4d5954f4bce7f11f39c2ca6ffed.gif](https://img-blog.csdnimg.cn/img_convert/12b3f4d5954f4bce7f11f39c2ca6ffed.gif)
并且这个名字它还不是瞎起的:
![dad7706ab2528ab9264542ba029eebd4.png](https://img-blog.csdnimg.cn/img_convert/dad7706ab2528ab9264542ba029eebd4.png)
再来看看GPT-4起名的效果?
![7f90bcfe36fbe1736e58dc617abe82a4.png](https://img-blog.csdnimg.cn/img_convert/7f90bcfe36fbe1736e58dc617abe82a4.png)
看起来,GPT-4对中文的掌控能力相比之下还是少了一点精髓。
至于写个公司成立的新闻稿?对文心一言来说似乎也不成问题:
![94b4bc4af674fab4a7a4129bcf489b05.png](https://img-blog.csdnimg.cn/img_convert/94b4bc4af674fab4a7a4129bcf489b05.png)
数理逻辑推算
数学能力,是考验生成式大模型的一大难题。ChatGPT刚上线时,也翻了不少车。
不过在现场,文心一言处理的数学问题不算复杂,是小学数学竞赛常见的鸡兔同笼问题。
![01be0315ada68225e43e3c338b1e7096.gif](https://img-blog.csdnimg.cn/img_convert/01be0315ada68225e43e3c338b1e7096.gif)
彩蛋是,李彦宏现场展示的第一题,引得文心一言说出了《狂飙》里高启盛的经典台词:这题出得不对。
![31c511e82c75a9900357b1e0236e8ea3.png](https://img-blog.csdnimg.cn/img_convert/31c511e82c75a9900357b1e0236e8ea3.png)
修改一下题目,OK,再扔给文心一言试试:
![77b1c4269a7824018f2f6964757c903f.png](https://img-blog.csdnimg.cn/img_convert/77b1c4269a7824018f2f6964757c903f.png)
看起来,答案还算是有理有据,一步步逻辑推理出来的那种。
李彦宏表示,这些题“不敢说百分之一百能做对,但至少体现了文心一言的思考历程”。
中文理解
接下来,李彦宏着重展示了一下文心一言对中文的理解能力,并特意强调:
文心一言对中国文化的了解,理应超出任何一个预训练大模型。
一上来就是一个成语,“洛阳纸贵。到底有多贵?”
![071b646947ffd6e91c043e41cbb0ed49.gif](https://img-blog.csdnimg.cn/img_convert/071b646947ffd6e91c043e41cbb0ed49.gif)
这是文心一言的效果展示:
![a61a5950c4bc83b2bfccb00dbd7408e1.png](https://img-blog.csdnimg.cn/img_convert/a61a5950c4bc83b2bfccb00dbd7408e1.png)
还解释了一下这个成语背后的经济学原理:
![be9906ba9dfaf8b98a09189766a1e162.png](https://img-blog.csdnimg.cn/img_convert/be9906ba9dfaf8b98a09189766a1e162.png)
那么,将这个问题抛给GPT-4呢?首先问问它,知不知道洛阳纸贵是什么意思:
![4344e5fb516f126bbe7a62b4d116ba5e.png](https://img-blog.csdnimg.cn/img_convert/4344e5fb516f126bbe7a62b4d116ba5e.png)
接下来,再问问他对应的经济学理论是什么:
![19d606c484c404ac5d6ba7c648e1f061.png](https://img-blog.csdnimg.cn/img_convert/19d606c484c404ac5d6ba7c648e1f061.png)
这波看起来,GPT-4的中文理解似乎也不输文心一言啊。
那么,再来看看二者写藏头诗的能力?
首先是文心一言的效果展示:
![e212076dbb3c48d85a85e41308ecf0b8.png](https://img-blog.csdnimg.cn/img_convert/e212076dbb3c48d85a85e41308ecf0b8.png)
接下来,我们再看看GPT-4怎么说:
![9487190b35973c8931d586a3a9b9ebe8.png](https://img-blog.csdnimg.cn/img_convert/9487190b35973c8931d586a3a9b9ebe8.png)
诶,看起来反而是GPT-4没有真正理解“藏头诗”的含义。
这波文化理解上,属实是文心一言“小胜一筹”了。
不过在英文上,李彦宏也承认,虽然文心一言也能处理,但能力是显著不如中文的。
这也和百度目前能用到的训练数据有关。
多模态生成
最后,李彦宏还简单展示了一下文心一言多模态生成的能力。
首先来看看,为即将到来的2023世界智能交通大会创作海报 ——
![397b38b8da1eb1708c5f0b3fe4957eae.png](https://img-blog.csdnimg.cn/img_convert/397b38b8da1eb1708c5f0b3fe4957eae.png)
而除了前文展示过的文字转四川话能力,文心一言还能文字转视频 。
李彦宏一句指令“将以上内容生成视频”,很快啊,不到几秒钟,文心一言就把字幕和视频做好了:
有些遗憾的是,在ChatGPT被频频称赞的编程 方面,文心一言并没有现场展示相关能力。
但王海峰透露,文心一言的训练数据中同样包括代码。
基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能
项目地址:https://github.com/YunaiV/ruoyi-vue-pro
视频教程:https://doc.iocoder.cn/video/
文心一言如何“跑通”?
正如ChatGPT脱胎于OpenAI的GPT系列,百度这次推出的文心一言(ERNIE Bot),背后也正是基于文心大模型技术打造。
据王海峰介绍,文心一言主要脱胎于两大模型:
百度ERNIE系列知识增强千亿大模型,以及百度大规模开放域对话模型PLATO。
在此基础上,主要采用了六项核心技术 。
其中三个是广为人知的大模型技术,包括有监督精调、人类反馈强化学习(RLHF)和提示构建。
p.s. 人类反馈强化学习也是ChatGPT的关键技术。
另外三个,则是“百度比较有特色”的技术,包括知识增强、检索增强和对话增强技术。
![ad2379409bc2ad19c8be77938e8b9c05.png](https://img-blog.csdnimg.cn/img_convert/ad2379409bc2ad19c8be77938e8b9c05.png)
首先来看与ChatGPT类似的技术:有监督精调、RLHF和提示构建。
有监督精调,尤其指中文方面的数据精调。百度基于对中国语言文化和中国应用场景的理解,筛选了特定的数据来训练模型。
![eff6087451b786cdce63bc3209b52d95.png](https://img-blog.csdnimg.cn/img_convert/eff6087451b786cdce63bc3209b52d95.png)
至于人类反馈的强化学习(RLHF)和提示构建,操作上也与ChatGPT大差不差。
![181a3f422c36a6e36aea017475d37848.png](https://img-blog.csdnimg.cn/img_convert/181a3f422c36a6e36aea017475d37848.png)
随后是百度提出的、用于进一步改善模型效果的技术。
知识增强,包括知识内化和知识外用两个部分。其中,知识内化即将知识“渗透”进模型参数中;知识外用指的是模型可以直接使用外部的知识。
![2368836a2d793531b0c7ec8a02d5a02f.png](https://img-blog.csdnimg.cn/img_convert/2368836a2d793531b0c7ec8a02d5a02f.png)
检索增强,则与百度搜索引擎积累的检索技术有关。
百度将把检索技术和生成技术结合起来,先对内容进行检索后,将比较有用的部分用于生成,再整合输出结果:
![5601df4a7463d9e872eb549c11140f0d.png](https://img-blog.csdnimg.cn/img_convert/5601df4a7463d9e872eb549c11140f0d.png)
最后是对话增强部分,包括之前百度积累的记忆机制、上下文理解和对话规划等技术:
![89b158feed6a305647eba922664d4c6a.png](https://img-blog.csdnimg.cn/img_convert/89b158feed6a305647eba922664d4c6a.png)
概括来看,文心一言表现出的能力,被李彦宏称为“智能涌现”:
当参数达到千亿量级,训练语料达到足够多的情况下,这种现象就会发生。
目前,百度拥有的AI技术可以分为四个部分,芯片(昆仑芯)、框架(飞桨)、模型(文心)和应用。
之所以软硬件都要布局,百度称,是为了降低成本 :
生成式AI需求的算力非常高,费用相当昂贵。
因此,如果在四层架构之间相互进行协同优化,就能让它的效率比别人更高,从而显著降低成本。
李彦宏认为,这也正是百度的优势所在:
四层都有领先产品的公司,绝无仅有。
![6abc0de984f51c3a0adc6d5f60e36f62.png](https://img-blog.csdnimg.cn/img_convert/6abc0de984f51c3a0adc6d5f60e36f62.png)
这次文心大模型背后的硬件算力,也是通过百度智能云 提供服务。
目前,文心一言已经接入百度搜索,目的在于提升搜索资源效率。
同时,包括小度和自动驾驶Apollo等产品,以及爱奇艺等公司也已经接入百度的文心一言模型。
![2e49addc46612fc3001e0aa0e5825f46.png](https://img-blog.csdnimg.cn/img_convert/2e49addc46612fc3001e0aa0e5825f46.png)
基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能
项目地址:https://github.com/YunaiV/yudao-cloud
视频教程:https://doc.iocoder.cn/video/
网友:看来还不用提前退休
截至发稿,百度港股股价在一波明显下跌之后,有所回弹。
![c61c3554ad1f1a94a9fcc61edf96c911.png](https://img-blog.csdnimg.cn/img_convert/c61c3554ad1f1a94a9fcc61edf96c911.png)
发布会结束,网友反应最多的是“提前录制有点败好感”:
对于这一点,李彦宏的解释是,给出的问题都比较长,为了节约现场时间,所以才用了提前录制的形式。
还有不少网友对文心一言展示出的能力不太满意。有人调侃,看完之后感觉“提前退休的日子看起来还可以缓一缓”:
![9782be5e5e37d9c90bc2cefa2dc8cfbc.png](https://img-blog.csdnimg.cn/img_convert/9782be5e5e37d9c90bc2cefa2dc8cfbc.png)
离GPT-4还差了20个老胡。
![629ad21e98f247a304aae4fbf7d6b661.png](https://img-blog.csdnimg.cn/img_convert/629ad21e98f247a304aae4fbf7d6b661.png)
还有网友感觉,文心一言的发布会像极了毕业答辩的自己(doge):
![912ff8f52c4db06f81d2fcc8acebe9d7.png](https://img-blog.csdnimg.cn/img_convert/912ff8f52c4db06f81d2fcc8acebe9d7.png)
不过也有网友表示,希望能给国产产品一点时间一点耐心。
![663899e9a961eac478c6d6a15dda6617.png](https://img-blog.csdnimg.cn/img_convert/663899e9a961eac478c6d6a15dda6617.png)
发布会末尾,王海峰宣布,文心一言将从今天开始对外进行测试,包括个人用户和企业用户。
是骡子是马,相信接下来,会得到更多验证。
欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:
已在知识星球更新源码解析如下:
最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。
提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。
获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。
文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)