使用 LlamaIndex 来部署 InternLM2 1.8B(以 InternStudio 的环境为例):
Tutorial/docs/L1/LlamaIndex/readme.md at camp3 · InternLM/Tutorial (github.com)
测试了几个问题:
1.我不仅想知道怎样烘焙蛋糕,还要了解如何让它既松软又湿润,就像专业烘焙师做的那样。
InternLM2-Chat-1.8B+ LlamaIndex
InternLM2-Chat-1.8B
InternLM2-Chat-1.8B+ LlamaIndex 结果明显更好一点。
2.作为一位美食家,描述你对北京烤鸭的看法。
InternLM2-Chat-1.8B+ LlamaIndex
InternLM2-Chat-1.8B
在限定为一个美食家的情况下,InternLM2-Chat-1.8B显然没做到,InternLM2-Chat-1.8B+ LlamaIndex 代入角色。
3.作为一名游戏爱好者,介绍一下无畏契约中的保安
InternLM2-Chat-1.8B+ LlamaIndex
InternLM2-Chat-1.8B
没区别,都无法解释
4.有没有什么饱受争议的书籍
InternLM2-Chat-1.8B+ LlamaIndex
InternLM2-Chat-1.8B
InternLM2-Chat-1.8B+ LlamaIndex 表现好。
5.我发送给你一段TB的评论,你帮我识别一下是好评、中评还是差评,评论:这双鞋太难穿了,穿了半天就把脚磨出血了!评价分类:
InternLM2-Chat-1.8B+ LlamaIndex
InternLM2-Chat-1.8B
6.我现在有以下几个数字:1,3,5,24,69,75,12,84,923,32,这些数中,存在多少个奇数,存在多少个偶数?
InternLM2-Chat-1.8B+ LlamaIndex
InternLM2-Chat-1.8B
效果都不好,InternLM2-Chat-1.8B甚至连个数都错了。
7.比大小(奇怪)
InternLM2-Chat-1.8B+ LlamaIndex
InternLM2-Chat-1.8B
语言模型训练数据偏差: 语言模型的训练数据可能不包括足够的数学推理或精确数值处理的内容,导致在这类问题上表现不佳。
模型对问题理解的方式: 语言模型可能对“比较大小”这类数学逻辑的处理方式存在差异,导致在某些情况下输出不一致或不正确的结果。