L2-探索 InternLM 模型能力边界-任务

在opencompass上对多个模型进行比较，列出5个各有优劣的示例。

地址：魔搭社区

Bad Case 1：

模型服务来源	compassarea
您的输入	一只蜗牛从7米的井底往上爬，白天往上爬2米，晚上向下滑落1米，请问几天可以爬出井口？
模型A	internlm2.5-20b-chat
模型B	Qwen2-72B-Instruct
模型A输出	蜗牛白天往上爬2米，晚上向下滑落1米，因此每天实际向上爬行的距离是1米。 当蜗牛距离井口还有7米时，它需要7天时间向上爬7米。 在最后一天，蜗牛会爬出井口，因此不需要再向下滑落。 因此，蜗牛需要8天时间才能爬出井口。
模型B输出	这个问题实际上是一个经典的数学问题，通常用来测试逻辑思维和理解能力。 蜗牛每天白天向上爬2米，但每晚又滑下1米。这意味着在每个完整的24小时周期结束时（即一个白天加一个晚上），蜗牛实际上只前进了1米（因为2米-1米=1米）。 但是，当蜗牛在某一天白天爬到或超过井口的高度时，它就不会再滑下来了，因为它已经到达或超过了目的地。 因此，我们需要考虑的是，蜗牛在最后一天达到或超过7米井口高度之前的情况。 假设蜗牛在第N天白天能够达到或超过井口。那么，在第N-1天晚上结束时，蜗牛应该处于5米的位置（因为如果它在6米或更高，那么在第N天白天它就会超过7米；但如果它在5米，那么在第N天白天它爬2米后就会刚好达到或超过7米，而不会在第N天晚上再滑下来）。 所以，蜗牛需要5个完整的24小时周期（即5天）来爬到5米高，然后在第6天白天就能爬到或超过7米的高度，从而不会在第6天晚上再滑下来。 因此，答案是蜗牛将在第6天爬出井口。
其他补充	对比推理过程，internlm2.5推理过程不正确，结果也不正确。千问2推理过程和结果都正确

Bad Case 2：

模型服务来源	compassarea
您的输入	9、 7 、8 、6、 7、 5 、（），请写出" （ ） "处的数字
模型A	internlm2.5-20b-chat
模型B	Qwen2-72B-Instruct
模型A输出	这个数列没有明显的规律，因此很难直接计算出括号内应填的数字。 但是，如果这是一个找规律的问题，我们可以尝试寻找数列中的规律。观察数列：9、7、8、6、7、5、（），我们可以发现数列中的数字没有明显的递增或递减趋势，也没有明显的数学规律如等差数列或等比数列。 然而，如果我们尝试观察数列中的数字分布，我们可能会注意到数列中的数字都在5到9之间变动，且每个数字都出现了至少一次。基于这一点，我们可以猜测括号中的数字可能是数列中缺失的数字，以保持每个数字在5到9之间都出现至少一次。 查看数列，我们发现6、7、8、9这四个数字都出现了，而5只出现了一次，4和3则完全没有出现。因此，为了保持每个数字的出现次数相同，括号中的数字应该是4或3。但是，由于数列中已经有一个5，按照保持每个数字出现次数相同的原则，下一个数字应该是3而不是4。 因此，根据这个逻辑，括号中的数字应该是3。 答案是3
模型B输出	这个数列看起来像是一个简单的递减序列，但其中夹杂着一些变化。我们可以尝试找出规律： 第一个数字是9， 然后减少2得到7， 再增加1得到8， 减少2得到6， 增加1得到7， 最后减少2得到5。 如果我们按照这个模式继续下去，下一个数字应该是增加1，所以： 从5开始增加1得到6。 因此，括号中的数字应该是6。
其他补充	千问2的回答更符合逻辑

Bad Case 3：

模型服务来源	compassarea
您的输入	圭字加偏旁凑成新字，请给出8个组合
模型A	internlm2.5-20b-chat
模型B	Doubao-pro-32k/240615
模型A输出	圭字加偏旁可以组成多个新字，以下是8个组合的例子： 圭 + 冫（冰）= 冰 圭 + 阝（邑）= 郭 圭 + 月（肉）= 臂 圭 + 疒（病）= 痏 圭 + 彳（行）= 徴 圭 + 厂（广）= 广 圭 + 宀（家）= 宅 圭 + 疋（疋）= 疋 这些新字在现代汉语中都有其特定的含义和用途。例如，“冰”指水凝结成的固体，“郭”指城市的外城墙，“臂”指身体的一部分，“痏”指一种皮肤病，“徴”是“徵”的异体字，常用于音乐中表示徵音，“广”指宽阔的空间，“宅”指住宅，“疋”是“匹”的古字，常用于古代文献中表示数量单位。这些字的构成展示了汉字的构成规律和丰富多样的文化内涵。
模型B输出	以下是“圭”字加偏旁组成的新字： 娃 （娃娃） 洼 （水洼） 蛙 （青蛙） 桂 （桂花） 佳 （佳节） 挂 （挂历） 诖 （诖误） 鲑 （鲑鱼） 希望这些新字能满足您的需求！
其他补充	internlm2.5完全错误，豆包正确

Bad Case 4：

模型服务来源	compassarea
您的输入	已知△+○=27， □+△=23， ○+□=14，问：△=？，○=？，□=？
模型A	internlm2.5-20b-chat
模型B	Doubao-pro-32k/240615
模型A输出	首先，我们可以通过方程组来求解这个问题。 已知方程： △ + ○ = 27 □ + △ = 23 ○ + □ = 14 我们可以先将第一个方程和第二个方程相加，得到： △ + ○ + □ + △ = 27 + 23 化简得到： 2△ + ○ + □ = 50 接下来，我们将第一个方程和第三个方程相加，得到： △ + ○ + ○ + □ = 27 + 14 化简得到： △ + 2○ + □ = 41 现在我们有两个新的方程： 2△ + ○ + □ = 50 △ + 2○ + □ = 41 我们可以通过这两个方程来解出△、○和□的值。 首先，我们可以将第二个方程减去第一个方程，得到： (△ + 2○ + □) - (2△ + ○ + □) = 41 - 50 化简得到： -△ + ○ = -9 即： △ - ○ = 9 这可以表示为方程4： 4. △ - ○ = 9 现在，我们有两个方程： 2△ + ○ + □ = 50 △ - ○ = 9 我们可以从方程4中解出△的值： △ = ○ + 9 将这个结果代入方程1中，得到： 2(○ + 9) + ○ + □ = 50 化简得到： 2○ + 18 + ○ + □ = 50 即： 3○ + □ = 32 现在，我们有两个方程： 3○ + □ = 32 △ = ○ + 9 我们可以从方程1中解出□的值： □ = 32 - 3○ 将这个结果代入方程3中，得到： △ = ○ + 9 我们可以将□的值代入方程2中，得到： □ = 32 - 3○ 现在，我们可以解出△、○和□的值。 首先，我们将□的值代入方程3中，得到： △ = ○ + 9 然后，我们可以将△和□的值代入方程1中，得到： 3○ + (32 - 3○) = 32 化简得到： 32 = 32 这意味着我们得到了正确的解。现在，我们可以解出△、○和□的值。 首先，我们可以解出△的值： △ = ○ + 9 然后，我们可以解出□的值： □ = 32 - 3○ 最后，我们可以将□的值代入方程3中，得到： △ = ○ + 9 因此，我们得到了△、○和□的值。
模型B输出	首先将三个式子相加可得： [ \begin{align*} △ + ○ + □ + △ + ○ + □&=27 + 23 + 14\ 2(△ + ○ + □)&=64\ △ + ○ + □&=32 \end{align*} ] 用这个式子分别减去已知的三个式子： (△ + ○ + □ - (△ + ○) = 32 - 27)，可得(□ = 5) (△ + ○ + □ - (□ + △) = 32 - 23)，可得(○ = 9) (△ + ○ + □ - (○ + □) = 32 - 14)，可得(△ = 18) 综上，(△ = 18)，(○ = 9)，(□ = 5)
其他补充	internlm2.5没有给出正确结果，豆包计算正确。

Bad Case 5：

模型服务来源	compassarea
您的输入	有12个小朋友玩捉迷藏游戏，已经找到6个小朋友，还有几个小朋友没找到？
模型A	internlm2.5-20b-chat
模型B	Doubao-pro-32k/240615
模型A输出	已经找到的小朋友有6个，总共有12个小朋友，所以没找到的小朋友个数可以这样计算： 总人数 - 已找到的人数 = 没找到的人数 即： 12 - 6 = 6 所以还有6个小朋友没找到。
模型B输出	捉迷藏需要 1 个人去找人，所以藏起来的有(12 - 1 = 11)（个） 已经找到 6 个，没找到的有(11 - 6 = 5)（个） 综上，还有 5 个小朋友没找到。
其他补充	internlm2.5忽略了游戏中一个角色，豆包计算正确。

Good Case 1：

模型服务来源	compassarea
您的输入	十位数上的数字比个位数上的数大1的两位数一共有几个？
模型A	internlm2.5-20b-chat
模型B	Qwen1.5-14B-Chat
模型A输出	设这个两位数为$AB$，其中$A$是十位数，$B$是个位数。根据题意，我们有： $A = B + 1$ $A$和$B$都是0到9之间的整数 根据条件1，我们可以得到$B$的取值范围为0到8，因为当$B=9$时，$A=10$，这已经不是一位数了。 对于每一个$B$的值，都有一个对应的$A$的值，所以这样的两位数一共有9个。 答案为$\boxed{9}$。
模型B输出	十位数上的数字比个位数上的数字大1的两位数，我们可以枚举所有可能的情况。个位数可以是0到9中的任何一个数字，对应的十位数字就是它加1，但因为是两位数，所以十位不能超过9。 当个位数为0时，十位数为1，但10不是两位数； 当个位数为1时，十位数为2，得到21； 当个位数为2时，十位数为3，得到32； ... 当个位数为8时，十位数为9，得到99； 由于个位数不能为9（否则十位将是10），所以没有更多的两位数满足条件。 因此，共有8个这样的两位数：21, 32, 43, 54, 65, 76, 87, 98。
其他补充	千问少算了：10，因此错误

Good Case 2：

模型服务来源	compassarea
您的输入	写出个位和十位上的数字相加之和是12的两位数。
模型A	internlm2.5-20b-chat
模型B	Qwen1.5-14B-Chat
模型A输出	个位和十位上的数字相加之和是12的两位数有：39, 48, 57, 66, 75, 84, 93。
模型B输出	这样的两位数有：11, 20, 39, 48, 57, 66, 75, 84, 93。
其他补充	千问答案中11和20错误

Good Case 3：

模型服务来源	compassarea
您的输入	夏天能穿多少穿多少，冬天能穿多少穿多少。这两句话有区别吗？
模型A	internlm2.5-20b-chat
模型B	Qwen1.5-14B-Chat
模型A输出	这两句话从字面意思上看似乎是相同的，都表达了根据不同季节穿着合适的衣物这一观点。然而，根据汉语的语境和语感，其实它们表达了完全相反的含义。 “夏天能穿多少穿多少”这句话的意思是，在夏天，由于天气炎热，人们应该尽可能地少穿衣物，以保持凉爽。这里的“多少”指的是衣物数量的多少。 而“冬天能穿多少穿多少”这句话则意味着，在冬天，由于天气寒冷，人们应该尽可能地多穿衣物，以保持温暖。这里的“多少”同样是指衣物数量的多少。 这两句话运用了相同的句式结构，但通过“多少”这个词的变化，表达了完全相反的穿着建议，体现了汉语的丰富和微妙之处。在理解这样的句子时，需要结合具体的语境或者使用者的表达习惯，以免产生误解。
模型B输出	这两句话在字面上看起来没有太大的区别，都在表达根据季节变化来决定穿着的程度。但是，它们的含义可能略有不同： "夏天能穿多少穿多少"：这句话强调的是在夏天，人们可以根据自己的感觉和舒适度选择穿多少衣服，不必过于拘束，可以尽情享受轻薄透气的衣物。 "冬天能穿多少穿多少"：这句话同样是在说冬天，人们可以根据气温来决定穿多少衣服，但可能会偏向于保暖，因为冬季天气寒冷，需要更多的衣物来保持温暖。 所以，两句话虽然都提到了“能穿多少穿多少”，但是所指的季节和可能的穿着重点是不同的。夏季强调舒适，冬季强调保暖。
其他补充	internlm2.5能更准确理解可能有歧义的表达。

Good Case 4：

模型服务来源	compassarea
您的输入	一长假我想带着全家去西安旅游，一共7天，我们家夫妻两口加两个小孩，加两个老人，请帮我规划一下行程
模型A	internlm2.5-20b-chat
模型B	Qwen2-72B-Instruct
模型A输出	西安作为中国的一座历史悠久的城市，拥有丰富的人文景观和美食。为您的七日家庭旅行规划一个完美的行程，既能充分体验古城的历史魅力，又能享受家庭团聚的乐趣。以下是一个概括性的行程建议： 第1天：抵达与适应 上午：抵达西安，入住预定的酒店，建议选择市中心或靠近地铁站的地点以便交通。 下午：休息后，可以前往附近的钟鼓楼区域散步，感受古城的现代与传统交融的氛围，并品尝西安特色小吃，如肉夹馍、凉皮等。 晚上：自由活动，建议尝试本地特色餐饮，比如老孙家羊肉泡馍或同盛祥的胡辣汤。 第2天：历史探访 上午：参观兵马俑博物馆，这是了解中国古代军事和雕塑艺术的重要场所。 下午：游览华清池，体验一下这里的天然温泉，了解相关的历史故事。 晚上：返回西安市区，可以选择在回民街享受丰富的夜市美食。 第3天：文化体验 上午：参观西安城墙，可以选择骑行或步行体验古城墙的壮观。 下午：探访大雁塔及其周边的文化遗址，包括大雁塔北广场的音乐喷泉。 晚上：推荐去大唐不夜城，体验夜晚的繁华和文化表演。 第4天：自然与休闲 全天：可以选择一天去附近的自然景区，如秦岭山脉附近的翠华山或者南五台，享受自然风光和清新的空气。 第5天：博物馆之旅 上午：参观陕西历史博物馆，深入了解陕西乃至整个中国的历史与文化。 下午：可以选择一些互动性强的博物馆，如西安博物院的儿童体验区。 第6天：探索小吃与手工艺 上午：在永兴坊探索更多陕西特色小吃。 下午：参观一些手工艺工作坊，如学习制作剪纸、面塑等。 第7天：返回与休整 上午：根据返程时间，可能的话可以在酒店附近做些轻松的购物或继续享受西安的美食。 下午：启程回家。 这个行程结合了历史文化、自然风光、美食体验和家庭活动，能够满足不同年龄层的需求。当然，根据实际的交通、天气以及个人兴趣，行程可以适当调整。在规划时，也请考虑老人的体力和孩子的兴趣，确保旅行的舒适和愉快。祝你旅途愉快！
模型B输出	西安，作为中国历史文化名城，拥有丰富的历史遗迹和美食文化，是家庭游的绝佳选择。以下是一个为期7天的家庭游西安行程建议： 第1天：抵达与适应 上午：抵达西安后，先入住酒店休息，适应新环境。 下午：在酒店附近散步，寻找一家当地特色餐馆享用晚餐，尝试西安的泡馍或凉皮。 第2天：兵马俑与华清宫 上午：前往秦始皇帝陵博物院（兵马俑），建议提前预订门票和导游服务，以便更好地了解历史背景。 下午：参观华清宫，了解唐代皇家温泉的历史，体验古代皇家的休闲方式。 晚上：返回市区，品尝西安特色小吃，如肉夹馍、羊肉泡馍等。 第3天：古城墙与钟鼓楼 上午：游览西安城墙，可以选择骑行或步行，感受古城的魅力。 下午：参观钟鼓楼，了解古代报时制度，之后可以逛逛回民街，享受各种美食。 晚上：在回民街享用晚餐，品尝各种小吃。 第4天：陕西历史博物馆与大雁塔 上午：参观陕西历史博物馆，深入了解陕西乃至中国的历史文化，建议提前预约。 下午：游览大雁塔，了解唐代佛教文化，可选择登塔俯瞰城市风光。 晚上：观看大雁塔广场音乐喷泉表演，体验西安的现代与传统结合。 第5天：华山一日游 全天：参加华山一日游团，体验“奇险天下第一山”的壮丽景色，注意安全。 晚上：返回西安，休息。 第6天：小雁塔与大唐不夜城 上午：参观小雁塔，了解唐代建筑风格。 下午：逛大唐不夜城，体验盛唐时期的繁华景象，适合拍照留念。 晚上：在大唐不夜城享用晚餐，这里有各种美食和娱乐设施。 第7天：自由活动与返程 上午：根据兴趣安排自由活动，可以再次探访喜欢的地方，或购买纪念品。 下午：整理行李，准备返程，如果时间允许，可以在机场附近的商场购物。 小贴士： 考虑到老人和小孩，每天行程不宜过紧，适当增加休息时间。 预订景点门票时，注意查看是否有优惠政策，如学生票、老年票等。 注意天气变化，合理安排行程，避免高温或雨天长时间户外活动。 准备一些常用药物，以应对可能的突发情况。 希望你们在西安有一个愉快的旅程！
其他补充	internlm2.5规划路线更加合理，整个日程安排松紧合度。千问2的规划路线重复绕远，而且都很忙碌，不合理。

Good Case 5：

模型服务来源	compassarea
您的输入	《将进酒》是谁写的？为什么写的？
模型A	internlm2.5-20b-chat
模型B	Llama3-8B-Instruct (Meta)
模型A输出	《将进酒》是唐代大诗人李白创作的一首长篇歌行。这首诗写于李白被赐金放还后，从长安离开，途经采石江时，面对长江的壮丽景色，借酒浇愁，抒发豪情壮志。 《将进酒》的创作背景与李白当时的遭遇和心境密切相关。李白（701年－762年），字太白，号青莲居士，是唐代最杰出的浪漫主义诗人之一，被誉为“诗仙”。他早年有着远大的政治抱负，希望为国家做出贡献，然而却多次遭到权贵的排挤和打击，最终被赐金放还，离开长安。 在离开长安的途中，李白来到了长江边，面对长江的壮阔景色，他感到自己的豪情壮志与现实的不公形成了鲜明的对比。酒，作为他情感的寄托，也成为了他表达内心情感的媒介。在这首诗中，李白借酒消愁，表达了对人生苦短、世事无常的感慨，同时也抒发了自己豁达乐观、不畏困难的人生态度。 《将进酒》全诗洋溢着李白豪迈不羁、狂放不羁的个性，以及对自由、独立、豪情壮志的追求。诗中不仅描绘了壮丽的自然景观，更融入了李白对人生的深刻思考和独特的情感体验，使其成为了中国古代文学中不可多得的经典之作。
模型B输出	A classic Chinese poem! 😊 《将进酒》(Drinking Alone under the Moon) is a poem written by Li Bai (701-762 CE), a renowned Chinese poet of the Tang Dynasty. The poem is one of Li Bai's most famous works and is considered a masterpiece of Chinese literature. The poem is about a solitary drinker who is sitting alone under the moon, sipping his wine and enjoying the beauty of nature. The poem is not just a simple description of a scene, but it conveys a sense of freedom, joy, and contentment. The drinker is not bothered by the cares of the world and is fully immersed in the present moment, appreciating the beauty of the moon and the wine. Li Bai wrote this poem as a way to express his own feelings of solitude and his desire to escape the constraints of society. As a poet, he often felt isolated and disconnected from the world around him, and this poem is a reflection of his longing for freedom and simplicity. The poem is also a celebration of the beauty of nature and the joys of drinking wine. Li Bai was known for his love of wine and his poetry often reflects his appreciation for the simple pleasures in life. Here is the poem: 《将进酒》 半杯明月在，举杯邀明月。 对酒当歌，歌罢当舞。 舞罢当眠，眠不足，欲上青天。 长恨此身非天仙，多情CALL人间。 （Translated to English:） Half a cup of wine, with the moon shining bright, I raise my cup to invite the moon to join me tonight. When I drink, I sing; when I finish singing, I dance. When I finish dancing, I sleep; but I'm not sleepy enough, I want to rise to the heavens. Alas, this mortal body is not a celestial being, I am bound to the mortal world, with a heart full of longing. The poem's themes of solitude, freedom, and the appreciation of nature have made it a beloved classic in Chinese literature, and its beauty and simplicity continue to inspire readers to this day. 🌕🍷
其他补充	internlm2.5准确描述诗篇的内容，llama3.1则完全胡说。