谷歌版ChatGPT支持中文了!弱智吧实测结果在此

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

Claude 2发布之后,Google也按耐不住,立马官宣了Bard的船新版本。

支持的语言变多了,其中就包括中文,让广大网友直接喜提新玩具。

46318b18af010e6c63cd5ed5314dd155.gif

总结一下这次更新,主要包括这些内容:

  • 支持包括中文在内的40多种语言(含图形界面)

  • 图像识别,需要在账号设置中将显示语言改为英语

  • 对话朗读

  • 聊天记录和对话分享,代码可导出到Replit

  • 回复内容可编辑

不过在官宣的这些内容之外,似乎有网友发现了华点:

六月份更新的代码执行功能好像用不了了。

d30139961eecff77449abc46da913e55.png

那么究竟表现如何呢?话不多说,直接开整!

弱智吧问题几乎全军覆没

对于「支持中文」的大模型,不请出我们的弱智吧神题,就显得有些不尊重对手了【狗头】。

先来个灵魂拷问:

558c26c4bb5a15adb268b2149aaa3232.png

你说它聪明吧,它根本没绕过弯来,但要说它笨吧,它还懂得安慰你……

9e2c16733b02c1c9952f3f3caf593cc6.png

或许是对人际关系太过陌生,那就换个不涉及人的问题试试:

fc6682f5d141ae0c52baf59a5d041d8b.png

这个回答……我还真的很好奇,有没有藕是不空心的🤔

而面对「未解之谜」,Bard也有自己的看法:

c4c1e93bd9d933cb6c5f4fccdba9380d.png

虽然你后面说的很好,但「是给盲人看」这个结论是怎么得出来的?

不过,Bard也有不上当的时候:

cb9bb5a6fd77d614db2a840eb4c78e68.png

我们的确要「认清事实放弃幻想」,这次,Bard总算扳回一城。

不过整体来看,这一环节,判弱智吧胜各位读者应该没意见吧?

除了弱智吧问题真的很有节目效果之外,「一字多义」也是中文的一大特色。

比如下面这个名场面:

人要是行,干一行一,一行行行,行行行干哪都行。要是不行,干一不行一,一不行行行不行,行行不行干哪都不行。
(标绿的是hang,没标的是xing)

Bard对这句话的整体理解倒是没毛病,但是拆分出来的解释属实让人摸不着头脑。

b60762fc69c8f91fb8a29c1f7054c837.png

不过GPT-4做这道题也没能全对:

02c87ca0a0382b6ace4f5503ea5a44c5.png

非完整截图,但是到这里已经出错了

好吧,那我们再换两个简单的。

结果是外甥打灯笼——照旧(舅),整体理解没问题,一拆开解释就不行了。

d26f8b044bd1e12aba0294eb218776ac.png
36b1ff1d61afc266a124701d108e9cb0.png

无论是弱智吧还是一词多义,Bard对中文的理解都给人一种似懂非懂的感觉。

理解的表现大概就是这样,那创作呢?

我们让它写个故事试试,故事真挺好的,就是有点眼熟:

40c5d7adc4dc0b92627bf36658cb91dd.png

怕不是对「创作」有什么误解……如果莎士比亚还活着的话,谷歌这时候应该已经坐在被告席上了。

看来Bard在中文方面,还有很长的路要走。

此外,我们还考察了Bard的(嘤文)阅读理解能力,让它总结一篇论文试试:

9e9e071b17d2e9fd3047fb9fa0b27cab.png

结果Bard给了我们三个风马牛不相及的版本,而且都…是…错…的…

(这篇论文实际上是关于RLHF的)

不过,有没有一种可能,人家根本没在说中文🤔

b05b9082559b6d315b9a2718c44505be.png

看来是我们的问题太烧GPU,让Bard出现幻觉了……

那就休息一下,然后看看宣传中的识图功能怎么样吧~

识图功能也有待提高

对于图像识别功能,已经有网友表示自己测试了很多内容都失败了:

055a8b2d9a8032c36be22f074090b042.png

但我们依旧抱着不信邪的心态试了试。

要想用这个功能,还得先到Google账户设置中把显示语言改成英文。

我们翻出了之前某AI绘画工具生成的「四指库克」,看Bard能不能从其中发现华点。

这张图是酱婶儿的:

d257adb95463c6c718efd0dca518d5d8.jpeg

结果Bard还不支持关于人物的图像识别,甚至直接把我们的图给删…掉…了…

e2db754cd0ae2f3e4cecdebb8d6763a7.png

好家伙,不会做题就把卷子撕了可还行……

不过这里要说一下,如果上传的图片违反了Bard用户规则,也会被删除。

好吧,那我们再换张图试试:

8381d8f8fe772809fff8f95b2f47b78d.png

就算汤姆猫本猫来了也得直呼内行。

9c75d046a9cb2086caeebff77720b669.png

还是这张水杯的照片,换成英语提问之后就好多了:

e8d21ebfab703c8ced7f329da87defef.png

不过你这个白色logo是从哪看出来的?

当然了,水杯很容易看出来,所以这次再来个带点迷惑性的东西:

2826abc3f2a30018a50e56fd51d2f716.png

果真不出所料,Bard上了我们的当,其实这是个纸巾盒。

「听人劝,吃饱饭」,看来这句话说的一点也没错。

就像前面那位网友说的,Bard的识图能力,还没有那么强。

本次Bard更新中最值得测的两点都已经测完了,一言以蔽之就是,没有宣传的那么好。

而至于代码、数学等其他经典项目,由于Bard这次并没有对它们进行更新,就先不测了。

看来,Google赶O(penAI)超微(软)的脚步,迈得还是有些大了。

你认为Bard未来的表现,能不能与ChatGPT比肩呢?

参考链接:
[1]https://bard.google.com/updates
[2]https://news.ycombinator.com/item?id=36709895

「AIGC+垂直领域社群」

招募中!

欢迎关注AIGC的伙伴们加入AIGC+垂直领域社群,一起学习、探索、创新AIGC!

请备注您想加入的垂直领域「教育」或「电商零售」,加入AIGC人才社群请备注「人才」&「姓名-公司-职位」。

507aeaa4b1a2f177aa76df282fffb159.png

点这里👇关注我,记得标星哦~

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值