最新llama3.2小参数版本1B的古董机测试 - 支持128K上下文，表现优异，和移动端更配

本文链接：https://blog.csdn.net/m0_38015699/article/details/142554711

llama3.1开始就支持了128K上下文，差不多有5万字的输入，可用于很多场景啦！模型能力比预想会好不少，但处理中文时，切记加上中英翻译！

话不多说，先抛出一个benchMark，对比了下最近比较火的Gemma2 2B和 Phi-3.5。

测试环境

windows 10
Intel(R) Core(TM) i5-9500 CPU @ 3.00GHz 3.00 GHz
内存 32.0 GB (31.9 GB 可用)
集成显卡
非stream输出
ollama 0.3.12
模型全称： llama3.2:1b

因为设备比较差，基本上是CPU被榨干，100%的跑，输出时间还可接受，5-30s，设备越好提示词越短响应更快！

文本理解测试

这部分主要是测试模型的上下文长度支持情况

prompt使用了论文Attention is all you need 1706.03762 (arxiv.org) ，整个输入达到40kb，远没达到上下文长度上线，毕竟token长度是会比英文字符少不少。但我怕老古董设备扛不住蓝屏啊

summarize following paper: \n {{论文内容}}

得到的回复 (....代表省略的部分）

The text appears to be a written representation of a visual attention visualization in the context of natural language processing (NLP) and machine translation. Here's a breakdown of what each section might represent:.......... By highlighting specific examples of attention work at various levels of language processing, these illustrations provide a deeper insight into the capabilities of neural machine translation models.

我特意搜索了关键字，对比了内容，整个回复未出现截断，真的是支持超大的上下文，一开始我还以为看错了嘞，毕竟是一个1B的模型。

中文知识简测 - 中文不太行

提示: 西红柿炒鸡蛋的做法

回复：西红柿炒鸡蛋是一道 flavorful 和营养丰富的 breakfast Dish，特别适合 brunch 或早餐。以下是这个recipes 的步骤：\n\n### Ingredients：\n\n- 2 个鸡蛋\n- 1/2 杯西红柿（可以使用半个）\n- 1 tablespoon 高脂奶油或低脂牛乳油\n- 1 问题小的生姜，切碎\n- 1 问题小的蒜汁脆末，切碎\n- 1/4 问题小的黄 hành丝，切碎.... Enjoy your delicious and nutritious Wester Nogarcie Egg！

（...省略了一部分）可以看到中英文混杂，可能修改提示词会有改进，但对于中文的支持应该一般，查看了默认语言八种并没中文，毕竟中文有点复杂，很多模型也是对中文掌握不佳，期待微调版本，但其实也可以外挂一个翻译模型（毕竟翻译模型现在都可以做的很小）

逻辑推理简测

提示：The ratio of the inner angles of the triangle is 2:3:4, so what are the degrees of the inner angles of each corner of the triangle?（三角形内角比例为2：3：4，那么三角形各个角的内角各为多少度？）

回答：To find the degrees of the inner angles of each corner of the triangle, we need to know that the sum of all interior angles in a triangle is 180 degrees.\n\nLet's assume the ratio of the angles is 2x:3x:4x. We can set up an equation based on this:\n\n2x + 3x + 4x = 180\n\nCombine like terms:\n\n9x = 180\n\nDivide by 9:\n\nx = 20\n\nNow that we have x, we can find the degrees of each angle:\n\n* The smallest angle is 2x = 2(20) = 40 degrees\n* The medium-sized angle is 3x = 3(20) = 60 degrees\n* The largest angle is 4x = 4(20) = 80 degrees\n\nSo, the degrees of the inner angles of each corner of the triangle are 40, 60, and 80 degrees.（中文回答错误）