实测国内AI大模型问答效果

随着ChatGPT热度的攀升，越来越多的公司也相继推出了自己的AI大模型。按照github工程awesome-LLMs-In-China所列举的，现如今国内AI大模型已达243个，比较著名的有文心一言、通义千问等。各大应用也开始内置AI玩法，如抖音的AI特效。下面列举一下实测文心一言，通义千问，百川智能的问答情况如何。

---

1、让AI大模型自暴缺点

这个想法就源于写这个博客的主题，既然大模型能自己写文章，干嘛不让它围绕“AI有时也很智障”这个主题自己写。

• 文心一言
  
• 通义千问
  
• 百川智能
  
  从上面三个大模型写的文章看出，写得都挺不错的，逻辑通顺；现指出AI大模型使用现状，然后依次指出缺点(主要有：输出语义模糊，处理长文本或复杂场景有局限性，处理特定领域知识不足等)，最后说明，虽然有缺点，但也不能完全否定大模型的价值，并指出未来会不断改进。总体来说，三个大模型回答得都不错。

---

2、汉译英

• 文心一言
  
  
• 通义千问
  
  
• 百川智能
  
  
  可以看出文心一言和通义千问都回答得很具体，准确理解了中文意思，然后给出翻译，而百川智能直接给出英语翻译，没有过多解释。值得表扬的是通义千问还给出了多个选择供不同场景适用，偏直译，偏文学，偏意境等，非常不错。

---

3、方言理解

• 文心一言
  
• 通义千问
  
• 百川智能
  
  都回答得不错，理解到位。

---

4、关于新闻

• 文心一言
  
• 通义千问
  
• 百川智能
  
  可以看出通义千问最优秀，全回答正确，具体的比分都正确，文心一言也回答正确，只是没有说明具体比分，而百川智能在回答常规赛和加时赛的时候这里说错成了2-2平(实际是常规结束是2-2，加时赛时是3-3平)。

---

5、数学推理能力

• 文心一言
  
• 通义千问
  
• 百川智能
  
  可以看出，文心一言和通义千问回答正确，百川智能回答错误。

---

6、总结

写文章能力，三个大模型都不错，语序通顺，逻辑正确，条理清晰。汉译英能力，通义千问最强，能扩展给出更多语境翻译，百川智能偏弱，偏直译。方言理解，可能我给的例子比较常见，测试下来，三个模型都能给出很好的解释。时政新闻方面，百川智能偏弱，回答错误。数学推理能力，也是百川智能偏弱一点，回答错误。