主要测试功能:日期计算相关
被测试AI:通义千问、文心一言、小爱同学、天工AI、科大星火。
测试问题:距离2025年春节还有多少天
今天:2月29
春节:2025/01/19
首先看看通义千问:
接下来是文心一言:
小爱同学:335天
天工AI:这个AI很有意思,巴拉巴拉对对错错说了一堆
科大星火:
结果统计:
通义千问:337
文心一言:335
小爱同学:335
天工AI:336
科大星火:336
看看计算过程:
合理怀疑通义千问在瞎说
文心一言:
在问他计算过程的时候开始前后不一了,有点意外
小爱同学:
2024为闰年即366天,然后366+28(1月29过年)=394 然后394-1=393给我看蒙了,和最初结果也不一样。
天工AI:直接搜的,算都没算。
科大星火:上面带了
总结一下:
正确答案是335天。文心一言,小爱同学给出了正确答案,但是提问其计算过程时全部翻车。科大星火的错误在于把过年当天也算了进去。总之,在AI给出结果的时候还是错误百出,一定要有自己的判断,不是全盘交给AI去做。这次测试的也都是国内名列前茅的人工智能了,看来进步空间还是巨大的。