ChatGLM-6B VS 昆仑万维天工对比

下面进行昆仑万维天工与ChatGLM-6B内测结果进行对比，其中ChatGLM-6B的结果来自https://github.com/THUDM/ChatGLM-6B，假设ChatGLM-6B的结果是可靠的，那么为了公平，昆仑万维天工（https://tiangong.kunlun.com/interlocutionPage）也使用这些Prompt进行测试。

昆仑万维天工介绍

      测试内容从自我认知、提纲写作、文案写作、邮件写作助手、信息抽取、角色扮演、评论比较和旅游向导这八个角度进行测试对比。

核心结论：

1、关于自我认知、提纲写作方面，两个模型表现都不错，条理清晰；

2、在文案写作，写邮件方面，两个模型都表现不错，而且生成的结果还非常相似；

3、在信息抽取方面，ChatGLM-6B比昆仑万维天工略胜一筹，昆仑万维天工提取的信息不是以JSON格式输出的，而且输出了一个表格，没有理解Prompt的语义；

4、在角色扮演方面，昆仑万维天工没有此功能；

5、在主观评论方面，ChatGLM-6B和昆仑万维天工都表现的比较理智和客观，没有模型个人观点，昆仑万维天工上下文继承出现了问题，输出了与Prompt无关的答案，重新生成可以进行纠错；

6、在旅游向导方面，两个模型表现都不错

自我认知

ChatGLM-6B

昆仑万维天工

提纲写作

ChatGLM-6B

昆仑万维天工

文案写作

ChatGLM-6B

昆仑万维天工

邮件写作助手

ChatGLM-6B

昆仑万维天工

信息抽取

ChatGLM-6B

昆仑万维天工

角色扮演

ChatGLM-6B

昆仑万维天工

评论比较

ChatGLM-6B

昆仑万维天工

由于上下文影响，居然输出了于Prompt无关的答案，重新输入可以纠错

旅游向导

ChatGLM-6B

昆仑万维天工