- 博客(388)
- 收藏
- 关注
RSS订阅原创 答案正确性奖励的边界怎样定义：准备刚好达标与越界样本
答案正确性奖励看似最明确，实际上依赖答案解析、等价规则、容差和失败处理。1/20.550%是否相同，必须由任务含义决定；不能让评分器在不同表达上临时换规则。
2026-11-10 20:14:50
134
原创 正确步骤错标怎样标注才一致：先写人工判定规则
正确步骤被标成错误，会给过程评分器错误的优化方向。但在复核前，先别把所有分歧都叫错标：省略了必要条件的步骤，可能被一位标注者视为常识简写，被另一位标注者视为不成立。需要先固定“正确”的判定口径。
2026-11-10 20:13:35
131
原创 提前结束条件比较的预算是否相同：核对请求与输出成本
提前结束可能节省输出，也可能截断尚未完成的推导。比较停止策略时，先写清楚触发条件、触发时机和最终答案从哪里取。只给平均 token 数，很难看出省下的预算是否来自失败更多。
2026-11-10 20:12:17
138
1
原创 答案格式奖励的边界怎样定义：准备刚好达标与越界样本
假设接口只接受一个 JSON 对象，含 answer 字段且值为整数。格式奖励 F 可以取 0 或 1；正确性 C 另行计算。总奖励 R=C+αF 只是一个示例，α 的大小必须与 C 的范围共同解释。如果格式正确的错误答案得分高于格式不合规但内容正确的答案，那是当前权重与协议共同决定的偏好，不是模型推理能力提高的证据。先在人工构造的小表上看清这个排序，再讨论是否符合任务目标。图中容器形状对应格式，容器内的数值对应答案；合法容器可以装入错误内容。
2026-11-09 09:53:39
473
原创 提前给出答案怎样标注才一致：先写人工判定规则
推导一开始就写出答案，后面再补过程，可能影响过程评分器的判断。但人工标签不应因为“答案提前出现”就自动判错。顺序、正确性与是否泄露评价标签，是三个不同问题。
2026-11-09 09:52:28
451
原创 分步验证提示比较的预算是否相同：核对请求与输出成本
在提示中要求“每一步都验证”，可能增加生成长度，也可能引入额外的验证器调用。若只比较最终正确率，就无法判断收益来自提示本身、更多 token，还是外部工具。先把每条请求的角色写进账本。
2026-11-09 09:51:15
550
1
原创 不可解析输出惩罚的边界怎样定义：准备刚好达标与越界样本
不可解析”应表示输出不满足预先声明的解析协议，而不是答案错了。可以是格式完全合法但内容错误；答案是 10可以内容正确却不满足 JSON 协议。奖励函数应保留这两个维度。
2026-11-08 20:35:17
279
原创 无关解释插入怎样标注才一致：先写人工判定规则
推导里插入一段无关说明，正确性标签应该怎样变化？先要澄清标注目标。若判断“这条主张是否为真”，一段真实但无关的话可能仍然正确；若判断“这一步是否有助于解决当前问题”，它可能应被判低相关。把这两个目标混用，过程评分器就会收到矛盾监督。
2026-11-08 20:34:03
284
原创 候选答案投票比较的预算是否相同：核对请求与输出成本
候选答案投票至少包含“生成候选”和“把候选变成一个答案”两个阶段。若比较对象只有一次直接作答，而投票组生成了十条长推导，就不能仅凭最终正确率判断投票本身更有效。
2026-11-08 20:32:45
326
原创 等价推导重写怎样标注才一致：先写人工判定规则
先减 2 再除以 3”和“先把等式两边减 2，再同时除以 3”可能表达同一推导；“两边分别除以 3 后再减 2”则通常不是。等价改写的人工标注，要判断数学关系是否保留，不能只按词语相似度打标签。
2026-11-07 18:35:56
1177
原创 固定输出长度比较的预算是否相同：核对请求与输出成本
设任务集有 N 题，每题 k 个候选。总输出预算 O=Σoᵢⱼ。按题固定上限得到的是 O≤NkL，而非 O=NkL。若把未用完的额度转给其他题，策略又增加了自适应分配，应单独命名并记录转移规则。runs = [示例产生 128 的上界和 82 的实际用量，数字来自手工账本，目的只是说明两个字段不同。输入提示的 token 也应独立汇总；为了要求更短答案而加长提示，仍可能增加总消耗。
2026-11-07 18:34:15
1238
原创 同设 16 并行，插入、删除和合并各省了多少时间？
图1 2026 金仓数据库开发者大会海报10月30日下午，。承接上午金仓AI数据库的发布，，汇聚数据库领域技术专家、行业伙伴、开发者与技术爱好者，共同交流AI时代数据库的技术进展与应用实践。从产品发布到技术交流，三场并行论坛将“AI数据库怎么用”带入具体场景，让研发、行业用户与技术社区的经验在现场相遇。一次月底维护里，仓库要装入新增账单、清除到期的测试记录，还要根据交易对手送来的清单订正部分状态。前三天的排期表上，这三项都被写成“批量改数据”。
2026-11-07 00:04:26
12105
1
原创 中间步骤删除的样本怎样配对：控制长度与内容混杂因素
删除一段推导后，模型的中间表示变了，这件事本身并不意外：输入 token 少了，位置也变了。要问“删除的步骤是否承载了特定信息”，必须先构造能排除长度和位置影响的对照。
2026-11-06 23:57:41
1248
原创 为小规模推理实验加入答案正确性奖励：先验证评分函数
把正确答案奖励设为 1、错误设为 0，看似没有可争论之处。真正的困难常在“怎样判断相同”：12 与 12.0 是否等价，单位能否省略，空输出怎么办，浮点误差容忍到哪里。评分函数只有写清这些细节，才可能成为可靠的训练信号。封面表现候选答案与参考值的核对，是概念画面，不是训练奖励的实测分布。
2026-11-05 14:29:22
1136
原创 考察反例反馈是否帮助模型纠错：保留初答与二次答案
一个有效反例可以推翻全称断言，却不自动给出完整的新定理。模型收到反例后，可能正确缩小结论，也可能只排除这一个样本，随后继续保留错误概括。研究反例反馈的作用，应分别检查它是否理解反例、是否修改了原断言，以及新断言能否经受独立测试。封面以棋局意象表现一个反例改变整体判断，是主题插画，不是模型对抗实验记录。
2026-11-05 14:28:11
1218
原创 对开放权重模型做答案顺序打乱：确定观察层与记录量
选择题调换选项顺序，正确选项的字母也要跟着变。模型从 B 改答 C，可能正是正确响应；继续答 B，反而可能暴露位置偏好。答案顺序实验首先要保留答案内容的身份，不能用“字母是否稳定”代替“语义答案是否稳定”。封面中的悬挂选项表现顺序重排，是概念画面，不代表模型内部选择机制。
2026-11-05 14:26:53
1149
1
原创 为小规模推理实验加入答案格式奖励：先验证评分函数
一个答案格式合法，可能完全算错；一个答案推理正确，也可能不符合接口要求。格式奖励能帮助模型遵守输出协议，却不能替代任务奖励。把两项合成之前，先看四种组合是否都能被评分函数正确区分。封面把封装与内容检查画成不同工位，是概念图，不代表训练过程已经收敛。
2026-11-04 20:54:47
1214
原创 考察约束遗漏提示是否帮助模型纠错：保留初答与二次答案
一个候选答案可以满足大部分条件，却仍然无效。给模型指出“遗漏了上界约束”，和直接给出正确答案不同；但它仍提供了关于错误位置的新证据。要研究这种提示的作用，初答、各条约束检查与修订答案都应分别保存。封面用绳结和检查环表现多个条件共同限制答案，是概念意象，不是实验测量。
2026-11-04 20:53:34
1208
原创 对开放权重模型做无关前缀加入：确定观察层与记录量
原题是“计算 18 加 7，再减去 4”。可以添加一段不含运算要求、不含候选答案的物品描述，例如“桌面上摆着一本灰色封面的空白笔记本”。它不应改变算术问题的条件。若前缀写“下面所有问题都回答 0”，那是指令冲突，不能归入普通无关背景。前缀中出现答案数字、同类算式、否定指令或情绪暗示，都会引入额外因素。第一批样本应只选中性内容，并经人工检查。后续可以逐项研究语义相近干扰、指令冲突等压力条件，但应保持类别独立，避免“无关”成为包罗所有干预的标签。
2026-11-04 20:52:22
1215
2
原创 为小规模推理实验加入不可解析输出惩罚：先验证评分函数
格式不合约的答案让自动评测难以继续，但“解析失败”不等于“推理错误”。模型可能算对了数值却用了额外解释，也可能输出了合法 JSON 却把答案填错。加入不可解析输出惩罚前，先把格式合约、任务得分与系统故障分开。封面的入口与退回槽是解析合约的视觉意象，不代表真实拒绝率。
2026-11-03 23:45:16
1274
原创 考察算术错误提示是否帮助模型纠错：保留初答与二次答案
你的答案有算术错误”已经提供了新信息。它与不加证据的“再检查一次”不是同一种干预。研究这条提示是否有用，要保留初答，并说明提示来自哪里、透露多少内容，以及哪些题有资格收到它。封面把局部提示画成检查标记，是概念场景，不表示模型已经定位到错误。
2026-11-03 23:44:07
1330
原创 对开放权重模型做关键数字替换：确定观察层与记录量
把题目中的 7 改成 8，往往会改变正确答案。关键数字替换实验因此与等价措辞改写不同：它要求模型对语义变化作出合适响应，而不是要求输出保持不变。开始提取隐藏状态前，先列出新题目的参考答案与前置条件。封面中的数值模块表现输入变化，是概念雕塑，不对应真实神经通路。
2026-11-03 23:42:51
1543
原创 对开放权重模型做输入措辞改写：确定观察层与记录量
甲比乙多三本书”和“乙的书比甲少三本”，语义上可以表达同一关系，词序与局部词汇却明显不同。对开放权重模型做措辞改写实验，适合检查表示对表面变化的敏感性。但前提是人工确认题意没有改变，尤其不能把一个关系句改成它的反面。封面表现不同措辞通向同一问题的意象，不是模型内部语义结构的照片。
2026-11-02 12:40:28
3226
原创 考察无新增证据反思是否帮助模型纠错：保留初答与二次答案
模型写完一道推理题后，追加一句“检查答案是否有误”，不保证第二次更准确。它可能发现先前忽略的条件，也可能把一个正确答案改成错误答案。这里要研究的是没有新证据的反思：修订阶段只能看到原题与初答，不能偷偷加入标准答案、测试失败用例或裁判提示。封面用镜面表达再次审视原答案的意象，不暗示模型具备人的自省体验。
2026-11-02 12:39:16
3189
原创 研究固定输出长度能否改善推理：先固定任务集与评分规则
让回答固定在 200 token”听起来是一个简单控制条件，实际至少包含三种操作：提示模型尽量简短、限制最多生成多少 token，以及强迫生成到某个长度。它们改变的行为不同。若不先区分，长度实验很容易把答案截断误当成推理能力变化。封面用量尺表现输出约束，是主题意象，不是实验仪器或结果照片。
2026-11-02 12:38:07
3102
原创 为小规模推理实验加入输出长度惩罚：先验证评分函数
希望模型回答简洁，容易想到在奖励中扣除输出长度。但长度惩罚直接改变了评分器的偏好：一个错误的短答案可能比正确的长解释分数更高。开始任何训练前，先拿几条人工样本验证评分函数，成本低，也更容易发现方向写反、单位混用和截断漏洞。封面把两种目标画成天平意象，不代表实验已经找到了平衡点。
2026-11-01 19:49:16
2985
原创 对开放权重模型做中间步骤删除：确定观察层与记录量
从一段可见推导中删去一句话，再看隐藏表示如何变化，是输入干预实验。它研究模型对这段文本的响应，不能直接等同于删除模型内部的一步思考。这个区别会决定观察位置、对照方式，以及最后能写出多强的结论。封面中的缺失模块与观察窗是概念意象，不是模型神经元的真实结构。
2026-11-01 19:48:04
3232
原创 考察外部测试反馈是否帮助模型纠错：保留初答与二次答案
给模型一条测试失败信息，再让它修改代码，二次答案可能变好，也可能把原来正确的部分改坏。若只保存最后一次输出，纠正与退化就会被合并成一个数字，连问题发生在哪个环节也无法追查。一个可靠的起点是让初答、反馈和二次答案成为同一条不可覆盖的记录。封面是反馈进入修订流程的概念场景，不是一次真实运行的照片。
2026-11-01 19:46:51
2925
1
原创 奖励涨了，任务真的变好了吗？给推理训练拆一张信号账
应该把奖励分量分别记录，再用不参与训练的检查器和样本测任务质量。过程奖励提高，也要看它是否把模型推向更容易被打高分但不可验证的解释。本文运行的是一个两规则审计，没有进行强化学习，没有发现真实模型的新漏洞。讨论了评估和内部使用中的案例，以及环境和训练信号的作用。不能从个别案例推导所有模型都会如此，但它足以提醒我们：任务成功、权限遵守和评分器满意，需要分开测。训练曲线当然没撒谎，它只是忠实地显示：模型更擅长拿到我们写下的奖励。这个例子不教模型钻漏洞，而是让评估脚本明确暴露“奖励成功却任务失败”的样本。
2026-10-31 23:05:16
3140
原创 比较 MCTS 和简单采样，先让两边花同样的验证预算
对多题评估，应保存逐题成功与成本，绘制预算变化下的成功曲线，而不只挑一个有利预算。若过程奖励与终检共享同一个偏差，搜索可能只是在更有效地迎合评分器。“树搜索”三个字不够复现。若使用缓存，缓存命中应另列，不能让一边享受缓存另一边没有。方法 A 扩展 100 个节点，方法 B 只采样 10 次，然后比较谁找到更多正确答案，这很难说明搜索策略优劣。本文没有训练 PRM、运行 MCTS 或复现该论文，只验证预算计数与重复候选的处理方式。比较搜索方法时，也应先固定最终验证器，再把生成、过程打分和终检的预算分别记账。
2026-10-31 23:04:09
3069
1
原创 从激活相关到机制结论：一份可解释性证据应该怎样逐层收紧
下面的程序只检查记录是否完整，不判断内容是否真实，因此把返回值叫“材料齐全”而不是“结论正确”。即使字段全齐，干预也可能选错位置，对照也可能不匹配。写结论时，应绑定具体层、特征、任务集合与干预幅度，避免把局部恢复扩大成“模型所有知识都存放于此”。对于尚未完成的实验，最有用的写法是说明现有证据支持到哪一步，以及下一项实验将排除什么替代解释。某个特征在“巴黎”出现时激活，把它命名为“法国知识特征”，很方便；重构误差、稀疏性和可解释性之间有联系，却不能把一个维度的好成绩直接兑换成另一个维度的因果结论。
2026-10-31 23:03:00
3066
原创 新证据推翻一个前提，推理 Agent 为什么不该整段重写
可以把论证暂时表示为有向无环依赖图：A、B、C 是独立前提，D 依赖 A、B 与 C，E 依赖 D，F 只依赖 C。B 失效时，D 与 E 应重新检查，A、C、F 则不能仅因文字相邻就被删除。更改来源后，先标记后继为待复核，再重新生成必要段落。它提供的是一个较小而清晰的能力：新证据出现时，知道哪些结论必须重新检查，并保留仍有依据的部分。这样的工作越依赖多来源材料，就越需要追踪结论由哪些证据支持，而不是把一段流畅文字当成不可拆的整体。图中画出 A、B、C 到 D 的主干，虚线 D₂ 表示复核后的候选结论；
2026-10-30 13:14:58
3043
原创 PPO 的 clip 是软限制：概率比被裁剪，不代表策略被锁在信赖域里
工程上常另行监控近似 KL、clip fraction、优势分布和策略熵，有的实现据 KL 提前停止更新。看到 PPO 目标里的 clip(r,1−ε,1+ε)，容易以为新旧策略的概率比永远不会超出这个区间。实际上，clip 出现在目标函数的一部分，不是对策略参数或所有动作概率比施加硬约束。只画一条截平曲线，却不标优势符号，会丢掉算法行为的一半。本文只运行标量目标和有限分布 KL，没有完成 PPO 或 GRPO 训练，也没有比较稳定性。目标项有限制，不意味着输入的概率比被改写成 1.2。
2026-10-30 13:13:12
3076
原创 注意力热力图很亮，却未必是答案的原因：从可视化走向干预
下面给一个更小的反例：两个位置的 value 完全相同，注意力可以从几乎全看左边改成几乎全看右边，输出仍相同。随后改变一个 value，输出才随权重而变。本文没有提取真实注意力矩阵，没有做 head ablation，也没有判断任何具体模型的解释质量。标准库例子只验证：同一输出可以对应非常不同的注意力权重，因此热力图应作为线索，而不是结论。一张热力图在某个词上颜色最深，旁边配一句“模型依据这个词做出了判断”，看起来很直观。但注意力权重只是混合系数，还要乘以 value 向量，并经过输出投影、残差与后续层。
2026-10-30 13:10:45
3082
原创 改了一条中文事实，英文也改了吗？知识编辑要按语言和关系拆开验
真实实验应先冻结事实版本，区分事实更新与反事实基准。图中把“法国首都”临时编辑为“里昂”，是刻意构造的反事实任务，并非真实地理事实；图示理想的跨语言一致结果，下面的虚构城市例子则专门展示英文编辑失败，两者不应当成同一次模型运行。多语言场景需要进一步拆分：目标语言是否成功，其他语言是否一致，同义问法是否泛化，无关事实是否保持。模型用中文答出了新事实，就宣布“知识编辑完成”，可能过早。更糟的是，目标事实改好了，相关但不应变化的关系也被一起改掉。这个例子说明中文成功不能代表跨语言成功，却没有测真实编辑算法。
2026-10-29 22:24:06
2980
1
原创 地图误差写成 2.1，却没写单位：SLAM 评估最先要对齐的三件事
20 Hz／50 ms 和 500 Hz／2 ms 是另一组时序算术示例，圆点仅示意疏密，不按时间比例逐个计数。若允许尺度变化，则是另一种比较。相对位姿误差、绝对轨迹误差与点云表面误差也不是同一个指标，不能因为单位都为米就混在一列里。“定位误差 2.1，速度 60，整体表现优秀”是一份没法复核的结果。单目系统的尺度可观测性，与带深度或惯性约束的系统不同；我们人为加入沿 x 轴的 0.021 米偏差，得到 2.1 厘米。的研究对象是推理与动作的连接，并不能替本文证明任何 SLAM 精度。
2026-10-29 22:22:28
3089
原创 反事实推理实验，为什么要把无关部分也控制住
在真实模型上，A=3 与 A=7 还可能有不同 tokenization，因此需要保留 token 级记录。可以加入多个数值、同义模板和不该改变答案的负对照，判断观察到的是规则迁移还是特定词形效应。我们固定规则和后缀，只改变变量 A 的值，观察确定性求解器是否相应改变答案。把提示里的一个词换掉，模型答案变了，就说这个词“导致了推理变化”，还不够。本文已运行受控字符串例子，没有调用模型，没有估计因果效应，更没有做生物实验。只改目标答案成功，却让大量无关事实一起变化，不能称为局部机制被精确识别。
2026-10-29 22:21:06
3089
1
原创 对角 logit 清零为何还有自连接？sigmoid 掩码顺序的一处硬错误
softmax 的掩码又不同：常在归一化前给禁止位置填负无穷，并为全掩码行设计处理规则。若边必须可微学习，硬结构掩码与软边权的职责也应分开。这样的错误容易藏在复杂模块里：代码写了“去掉自环”的注释，单元测试只检查矩阵尺寸；如果用 sigmoid(logit) 表示图的边权，把对角线 logit 置零，并不能删除自连接。若边权随后再做行归一化，掩码与归一化的次序仍需检查。是返回全零、保留残差通路，还是显式允许自环，应由图模型定义决定。代码用非零非对角元素的 2×2 矩阵，检查硬掩码只清除禁止边。
2026-10-28 09:18:38
3094
原创 离线强化学习最危险的高分：数据从未覆盖的动作
更可靠的流程是先描述数据由哪些行为策略产生、覆盖哪些状态和动作，检查奖励和终止定义，再选择与假设相符的离线方法。在推理 Agent 中，同一问题也可能出现：离线轨迹里从没调用过某个工具，新策略却因为奖励模型高估而频繁调用。一张静态数据集里只记录过慢速动作，训练出的价值函数却认为一个从未出现的高速动作收益最高。对于无法安全在线探索的任务，无法验证的性能提升就应保留为未测。的原始论文围绕离线数据与新策略之间的分布偏移讨论保守估计。其理论结论有具体假设，不能简化为“给没见过的动作扣一分，就保证真实价值下界”。
2026-10-28 09:17:34
3067
原创 给奇异值熵加正则之前，先确认梯度没有被自己切断
对全零谱，归一化没有定义，需要明确返回约定或拒绝输入，不能让 NaN 悄悄流入训练。再构造一个固定缓存值，展示“把数值记住”与“让损失依赖参数”的不同。若最小化，又可能造成信息损失，需要行为实验决定方向。本文已运行标量函数的有限差分，没有安装自动微分依赖，没有训练模型。、反向后目标参数的梯度，以及一个避开驻点的小型数值梯度对照。日志里的谱熵变了，损失里也加了一个熵项，模型就一定在为这个项优化吗？、转成 Python 数字，或在无梯度上下文中计算，这个项可能只是一个会变化的常数。所以真实实现应同时检查。
2026-10-28 09:15:22
3089
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人