讯飞语点(yd)和移动灵犀(lx),搜狗语音助手(sg)评测, 暂时没把智能360,虫洞包含进来。
已有参考:
http://article.pchome.net/content-1571163-2.html
http://www.cctime.com/html/2012-9-30/20129302033343626_4.htm
短信,电话,控制命令等基础的功能这次没有测试,参见上面给出的参考。本次测试主要关注一些生活服务。
测试方法:
三个手机同时开始录音,采集的是同样的音频。
问:从南京到苏州坐什么车?
yd:打开qunar.com的航班查询页面。
lx:提示没有航班信息,数据提供是12580.
sg:打开搜狗地图,搜索公交车。
问:明天从苏州到南京的火车票。
yd:qunar.com 火车票信息。直接展示。
lx:火车票信息。 直接展示。
sg:火车票信息。
问: 查询后天从上海到广州的航班。
yd:qunar.com
lx: 显示12580上的航班数据。
sg:酷讯旅游搜索机票。 需要一次点击操作。返回不方便。
问: 我下周计划去三峡旅游。
yd:打开android市场搜索“计划”
lx:打开MM市场搜索“计划” , 点开一个,最终下载失败。
sg: 提示“下周再见”
问: 最近去哪里旅游比较好。
yd:“乘兴而来,xxx”
lx:“乘兴而来,xxx”
sg:推荐“丽江,杭州,北京”
问:那丽江有什么好玩的?
yd,lx,sg,识别出错, yd的要稍好一点。都能识别出”好玩“,yd和lx打开地图。
问: 杭州有什么好玩的?
yd,lx打开”杭州“的地图。
sg:推荐若干景点,数据来自大众点评。
问:冬天吃什么比较好?
yd和lx,打开地图。
sg:给出冬季饮食原则。
问: 我要上当当买一本书。
yd和lx,打开本地应用列表。
sg:没理解。
问:查一下科大讯飞的股票。
yd和lx:查询股票。sina.com的数据。
sg:没有找到信息。
问: 查一下圆通快递的电话。
yd和lx: 找不到圆通快递。
sg:显示圆通快递客服电话。
问: 我饿了。
yd和lx,sg,给出一些提示信息。
问:查一下NBA比赛的情况。
yd和lx,打开百度搜索nba比赛。
sg,未识别。
问: 打开新浪博客。
yd和lx,在本地应用中查找”新浪博客“
sg,打开网页。
问:湖人队不行了么?
sg:”永远顶湖人“, 识别差一个字。
yd和lx:blahblah
查一下”宫保鸡丁“的菜谱。
yd和lx:打开百度搜索百度。百度第一个结果展示了菜谱细节(美食天下菜谱)
sg:识别不完全。
”宫保鸡丁“怎么做?
yd和lx:文字显示做法。
sg:从”美食杰“获取了详细的做法信息和图片。
辛弃疾的京口北固亭怀古
yd和lx:搜索”辛弃疾“,显示百科信息。
sg:正确显示词的全文。
唐朝女诗人有哪些?
yd和lx:识别错误。
sg:给出正确结果。
中秋节英语怎么说?
yd,lx,sg:都给出了正确结果。
中秋节俄语怎么说?
yd和lx:搜索”中秋节“
sg:给出了一个答案。答案数据来自:??
下载莫言的小说红高粱。
yd和lx:显示搜索的”红高粱“信息。
sg: 泡泡读书的下载按钮,软件介绍。(木蚂蚁提供的数据)
下载二维码扫描软件:
yd和lx:显示文字搜索结果。
sg:直接显示软件列表。
完成大众点评网上信息的查询:
找一个羽毛球馆。
yd和lx:打开百度搜索“羽毛球馆”
sg:显示场馆信息列表:价格,电话,距离,评价等信息。(数据来自大众点评)
附近有台球室么?
yd和lx:打开地图搜索“苏州市xxxx街台球室”
sg:显示场馆信息列表:价格,电话,距离,评价等信息。(数据来自大众点评)
我要预订网球场 / 预订一个足球场
都没有正确操作,仅仅显示了一些没用的提示信息。
搜一下xxx游泳馆的团购票。
都没有给出有用信息。
美食:
附近有什么西餐厅?
yd:显示餐厅列表和信息。数据来自大众点评。
lx: 没有找到信息。
sg:商店列表。 数据来自大众点评。
独墅湖高教区有什么川菜馆?
yd:没有找到信息。
lx:没有找到信息。
sg: 正确显示列表。
我想吃湘菜。
yd:显示餐厅列表和信息。
lx:没有找到信息。
sg: 正确显示列表。
帮我找一个咖啡馆。
yd:显示餐厅列表和信息。
lx:没有找到信息。
sg: 正确显示列表。
哇哇叫干锅怎么样?
三个都没有给出有用信息。
哪里可以订生日蛋糕。
yd和lx:提示无用信息。
sg:显示蛋糕店列表。
找一下火锅团购券。
都识别出错。
有没有餐馆的团购券。
yd:dianping网餐厅列表。
lx:dianping网餐厅列表。 12580上没有找到信息。
sg:没有正确信息。
找一个人均消费50以内的餐馆。
yd和lx:搜索。
sg:没有有用信息。
水天堂餐厅怎么样?
yd和lx:理解出错,无有用信息。
sg:名称包含“水天堂”的餐厅列表。
购物类:
我要配一副眼镜。
三个都没有用信息。
附近有什么购物广场。
yd和lx:打开地图。
sg:“中关村附近的购物广场xxxxx”
附近哪有卖小孩衣服的?
yd和lx: “这个问题,问了一圈,都不会”
sg:显示了商场列表。 dianping网数据。
我想买点碧螺春。
yd和lx:识别出错,试了多次都识别出错。
sg:“别光想,行动吧”
我要买点感冒药。
三个都没有反馈有用信息。
附近哪有药店?
yd和lx:打开地图。
sg:显示药店列表。
yd和lx:打开地图。
sg:打开sougou地图,显示花店标记。
附近有没有书店?
yd和lx:打开地图。
sg:显示了书店列表。 数据不全。
休闲娱乐类:
查一下科文中心的电影票。
yd和lx:识别出错,打开搜索页面。
sg:无用提示。
买一张独墅湖电影院的票。
三个都提示无用信息。
附近哪里有唱歌的地方?
yd和lx:播放本地歌曲。
sg:搜索KTV。 数据来自dianping。
帮我找一个酒吧。
yd和lx:没有找到附近的酒吧。
sg:提示无用信息。
十全街有哪些酒吧?
yd和lx:没有找到酒吧。
sg:打开搜狗地图,显示酒吧标记。
附近哪有足疗的地方。
yd和lx:打开地图。
sg:显示商家列表和信息。
有没有电影团购票。
三个都没有有用信息。
我要去拙政园。
yd和lx:地图显示路线。
sg:显示路线。
太湖周围有什么好玩的?
yd和lx:显示地图。
sg:无用信息。
拙政园的游览图。
三个都无有用信息。
住宿:
帮我订一个单人间。
yd:提示“不会”
lx:搜索12580,提示“没有找到信息”
sg:多次识别出错。
帮我找一下太湖周边的酒店。
yd:打开地图。 没有显示酒店信息。
lx:显示酒店信息,但是显示的是太湖县的酒店信息。 数据来自12580.
sg: 打开地图,搜索“酒店”。
我要找一个观前街的酒店。
yd:打开地图。 显示酒店标记。
lx:显示酒店列表,数据来自12580.
sg:打开地图。
我要找一个经济型酒店。
yd:打开地图。
lx:没有显示任何内容。
sg:无用提示信息。
生活信息:
哪里可以冲印照片。
yd和lx:提示“不会”
sg:显示无关图片。
哪里有照相馆。
三个都打开了地图。
哪里可以洗车?
yd和lx:显示天气预报。
sg:无用提示。
哪里有英语培训机构 / 附近哪里有干洗店? / 帮我找一个搬家公司。/ 买一张1942的电影票。
三个都没有给出有用信息。
购物类
三个基本都“太笨” ,没法给出有用信息。
导航类:
帮我找一个xx的视频教程。
三个都没有有用信息。
打开军事新闻网。/ 打开凤凰网。等等具体的网站名称。
基本能正确打开。
有哪些英语学习类网站?找几个视频网站。
都没能给出有用导航信息。
简单的分析:
语点和灵犀在产品设计,核心技术上其实就是同一个产品,但是后端服务数据不一样,灵犀有12580的数据,MM应用市场数据。
识别率上: 没有感觉到明显的差别。
任务完成度: 整体感觉上搜狗语音助手要好,搜狗集成大众点评的数据做得很全。 灵犀由于酒店信息仅使用12580,感觉没有大众点评的数据全面。语点则缺少部分数据。
参考大众点评网上提供的信息和服务,试图在语音助手中完成查询,总体感觉三个软件能提供的信息服务种类比较单一。酒吧,电影票,照相馆等数据无法查询。 原因可能有两点:
1,语义解析不准确。 2,后端数据集成不全面。
旅游类信息查询无法有效进行。 购物类信息查询无法有效进行。
导航类信息比较粗糙。只能完成简单的导航。
知识类信息查询主要依赖后端的论坛或者问答网站,有部分问题能够获取比较好的答案。
用户体验: 响应速度上三个差不多,UI展现形式类似。 有以下不好的体验: 某些信息需要调用第三方程序,会出现页面的来回切换,需要额外的点击操作。 偶尔会出现等待时间较长。 基本不考虑上下文。
个人的一点理解: 用一个互联网经常用到的流量的说法来理解 此类产品,前端(识别+理解)接受流量, 但是流量要导出到哪里?目前看,这个导出做的都很粗糙,能够导出的点目前能够从产品中看到的是有限的,大部分都转到了搜索,是无法快速获取有效信息的。这些需要精雕细琢的后端服务功能,是可以在一个框架下开发出来的, 比如旅游方面的流量可以导入到专业做线路信息查询,景点咨询,旅游服务的公司;购物相关的流量导入到专业电商网站;也可以基于此框架完成丰富的网站导航; 但是又不能做成上述产品中那样简单的页面跳转操作,这个服务框架可以进一步获取到用户的具体需求,提供更精准的结果。......技术人员的 初步的想法而已,就不继续献丑了。
还有一个疑问,灵犀这个语点的官方授权山寨版,该如何与语点并存?