coolbamboo2008的专栏

转载 官方基准说 2B 比 0.8B 强 3 分，我的 39 条微博说：没这回事

标签由大模型按固定细则标注（之前的博文有讲），没有逐条人工复核，所以下文的准确率严格说是与标注细则的一致率，是我的Agent的评测（国产一档大模型）。样本不大，但比较模型的排序质量够用。后来我翻它的基准构成，涨的分主要在推理型任务上，而"这条微博值不值得看"考的不是推理。这轮的新选手叫 jeff，Qwen 小底座的决策模型，一次推理直接输出概率，CPU 就能跑，有 0.8B 和 2B 两个尺寸。它给值得看的内容打分偏保守，平均只有 0.47，默认阈值下准确率六成出头，压到 0.20 就有 79.5%。