语言模型测试系列【6】

大道随心

已于 2024-06-05 15:49:06 修改

阅读量776

点赞数 22

分类专栏：语言模型文章标签：语言模型人工智能自然语言处理

于 2024-04-19 17:25:24 首次发布

本文链接：https://blog.csdn.net/kewaqi618/article/details/137970392

版权

语言模型专栏收录该内容

13 篇文章 0 订阅

订阅专栏

语言模型

今日的测试新增一款语言模型商量，是商汤科技旗下的中文语言大模型应用平台。一次浏览网页中，在一篇文章中所列大模型中，测试感觉还可以的大模型平台，引入我的测试系列。
测试问题来自于突然间的灵感迸发，很简单的提问，来自于歌手周深的一首歌曲《和光同尘》。那么我们开始今天的测试

提问及回答

问题：和光同尘
说明：周深的歌曲名，简单的提问，只是想知道这个歌名的来源，就复制过去问了一下语言模型，第一个问的是文心一言，回答有点意料之外，看看下面的回答结果吧。

文心一言

在这里插入图片描述

讯飞星火认知大模型

在这里插入图片描述

通义千问

在这里插入图片描述

豆包

在这里插入图片描述

360智脑

在这里插入图片描述

腾讯混元助手

在这里插入图片描述

Kimi Chat

在这里插入图片描述

商量

在这里插入图片描述

对比分析

只用“和光同尘”四个字来测试的初衷其实也是个意外，就想看看大模型对我此刻的心理分析能否满足我想要的内容。日常生活中，我们有很多时候在谈论某件事，或者在网上讨论某一类事物的时候，大数据基本上都可以相对准确的预测个人偏好，然后在各类推送中会给出贴近的链接。那么，这次的初衷是想要知道这个“和光同尘”的出处及来源。下面给出百度搜索的大模型中回到出的几篇《道德经》章节。
在这里插入图片描述

从上面几个大模型的回答，从主观意识上对比如下：

模型名称	回答内容
文心一言3.5	试用过期了，《道德经》第四章，回答不满意，特别是讲到它的本意中消极、同流合污的用词，真心的感觉不舒服。
讯飞星火认知大模型	出自《道德经》，直接给出释义，褒义。
通义千问	这个“《道德经》第二十五章” 的回答真的是一个败笔，你咋不说老子出身唐代呢？释义内容还是不错的
豆包	不愧是抖音出品，直接给出歌曲，还是汽水音乐的，歌词是“和光同尘，不要总是一个人生活，要到世俗中去，这美好而遗憾的世界”，是周深的歌不够出名吗？
360智脑	也对，直接给出成语解释。
百川大模型	《道德经》第五十六章，直接给出释义，褒义。
腾讯混元助手	出自《道德经》，直接给出释义，褒义。
Kimi Chat	《庄子·逍遥游》¹，不准，我在全文里搜了，没搜到，释义还是不错的
商量	《道德经》第四章，释义相对中庸，尚可

总结

本次共九个语言模型进行对比测试。怎么说呢，从个人角度来看，我提问的初衷是想看看哪个语言模型回答的够全面、够进步，经过这次测试，感觉都比较中规中矩吧。
能够准确回答出处的模型有：文心一言3.5、讯飞星火认知大模型、百川大模型、腾讯混元助手、商量。从这五个模型中进行评比，讯飞星火、百川和腾讯混元助手略胜。
其余不准的四个，真不知道是咋想的了，就不做过多评判。