qq_43042024的博客

原创 数学建模算法学习——各类模型算法汇总

相关模型解决的问题数据分析类算法一览100个经典动态规划方程优化问题线性规划简介：线性规划的目标函数可以是求最大值，也可以是求最小值，约束条件的不等号可以是小于号也可以是大于号。为了避免这种形式多样性带来的不便，Matlab 中规定线性规划的标准形式为其中 c 和 x 为 n 维列向量， A 、 Aeq 为适当维数的矩阵， b 、 beq 为适当维数的列向量。代码实现...

原创 Alibaba-RecGPT-V3 记忆中枢SID与隐式意图推理

论文标题： RecGPT-V3 Technical Report论文链接： https://arxiv.org/pdf/2607.15591论文作者： RecGPT Team（Alibaba / Taobao）一句话总结： 用“结构化可演化用户记忆 + SID 混合模态 + 可解码的 latent 推理”把 LLM 推荐从“能用”推到“可规模化”，同时提升效果与降本。这篇报告不是“又一个把 LLM 套到推荐上”的论文，而是把 LLM 推进到工业级主链路之后，真实遇到的三类硬约束。第一类：无状态（Statel

原创 Tencent-BARGE：弥合生成式推荐结构鸿沟

论文标题：Bridging the Structural Gap: Adapting Autoregressive Generation for Recommendation论文链接：https://arxiv.org/abs/2607.21028v1 （HTML：https://arxiv.org/html/2607.21028v1）

原创 阿里TSGR：让生成式检索兼顾语义与商业价值

Figure 4 说明 ranking strategy 不是越复杂越好。论文比较了 baseline、PVPV×CTRPV×CTR×CVR等组合，结论是PV×CTR最优。对检索阶段来说，这个结果挺自然：如果目标是把高概率会被点、且有一定商业价值的 item 提进 top-1000 候选池，那么PV×CTR比PV×CTR×CVR更稳，因为 CVR 往往更稀疏，也更容易带来估计噪声。Figure 5 与 Appendix Table 10 则在看 VRM 架构本身。论文的结论可以概括为三点。

原创 快手UAME：不确定性建模缓解满意度标签偏差

模块作用：把“最终满意度排序”写成可训练的 pair-wise 排序问题，同时明确 pxtr 标签带来的偏差。输入：用户集合U、短视频集合V、上下文特征C对于某个用户u∈U与上下文c∈C，候选集合记为Cand(u,c)每个候选 itemv_i有 K 维 pxtr 分数（多目标行为代理信号），记为输出：每个候选 item 的“满意度打分变量”ŷ_i（随机变量）以及任意 item 对(i,j)的“i 排在 j 前”的概率P_{i,j}理想（不可观测）的真实满意度 pair-wise 标签：yij。

原创 阿里巴巴-TMallGS统一特征与长序列搜索排序

模块作用：保护 query-item 精确匹配、统计交叉分数等高频显式信号，避免它们在深层语义建模里被过度平滑。输入：候选商品最终语义表示h_c^{[L]}与候选完整特征嵌入e_c^{all}。输出：最终用于点击预测的表示v_{final}与主 logit。

原创 Meta-WHALE：逐层融合统一推荐模型

N相对小（例如 64 个非序列 token），L很大（例如 15,000 的历史）。这种Q 小、KV 巨长的 attention 很容易内存带宽受限。共享 Key/Value（K=V）：把 value 直接复用 key，减少一次大张量读写与反传的内存流量。注意力形态仍是AℓsoftmaxQℓKℓ⊤DKℓAℓsoftmaxD​QℓKℓ⊤​Kℓ不对称反传调度（KV-parallel vs Q-parallel）：因为N \ll L。

原创 美团NONTP：扩展生成式推荐训练信号

这篇论文认为生成式推荐里单纯做 NTP 监督太短、太窄，于是加了两个只在训练期生效的辅助目标：沿时间轴补监督的 TCL，沿跨域梯度路径补监督的 TDL，线上推理结构和开销都不变。

原创 小红书xHC：时序特征增强 + 稀疏写回

xHC 把 Transformer 的单路残差流扩成 16 路记忆流，并用“时序特征增强 + 稀疏写回”同时解决信息不够和计算太贵两个瓶颈，让大规模残差流扩展第一次在 18B/28B MoE 预训练里既有效又划算。

原创 Meta-SlimPer：固定知识库重构个性化排序

模块作用：把推荐排序表述为多任务打分函数，并用非用户侧输入初始化固定大小的用户-物品知识库。输入：候选集合，sparse 特征集合S，dense 特征集合D，用户事件序列E；输出：每个候选 item 的τ个任务分数。fui;fui;SDE→Rτu：当前用户。i：候选物品，i \in I。S：稀疏特征集合，包含用户侧、物品侧或交叉侧的高基数类别特征。D：连续 dense 特征集合。E：用户历史事件序列，长度记为N。τ。

原创 阿里SAM：购买后冗余抑制建模

模块作用：把工业推荐精排问题转化为带“已满足兴趣抑制”的 CTR 预估任务。输入包括用户画像P_u、完整行为序列、购买序列和候选商品i。其中L是行为序列长度，论文实验中截断到 500；H是长期购买事件数；每个行为节点x_j包含 item 特征和类目g_j。输出是候选商品交互概率ŷ ∈ [0,1]。yfPuSSbuyiy​fPu​SSbuy​iP_u：用户u的静态画像与长期偏好特征，shape 可记为R^{B×D_p}。：按时间排序的点击与购买混合行为序列，

原创 京东：多路复用多模态表示的MMRM电商排序模型

MMRM 用共享 MLLM 骨干 + 任务专用 token，一次前向生成多路解耦的 item 表示，并通过任务专用软检索构造用户表示，大幅提升电商搜索 CTR/ACR/CVR 排序效果。

原创 Meta-CMSL：构建多序列缓解推荐系统上下文污染

使用多头注意力池化（Pooling by Multihead Attention）提炼各子序列的精华。hlkPMAQSlkKXˉlkVXˉlkhlkPMAQSlkKXˉlkVXˉlkSlkS^{(l,k)}Slk：Query 向量，代表当前上下文意图。XˉlkXˉlk：Key 和 Value，代表子序列的时序表示。hlkh^{(l,k)}hlk：提取出的ddd。

原创 阿里PG：配置驱动Prompt构造解耦特征与模型

论文标题：Prompt Generation Technical Report论文作者：Taobao Search Team（Taobao）

原创 微信：Hidden Decoding潜计算扩展固定参数Backbone

不改 Transformer 主干层数和宽度，只把每个 token 展开成多个隐式 stream，在序列维度增加“潜计算步数”，再用 Stream-Factorized Attention 把注意力成本从。

原创 字节 | 语义Token解锁排序模型Scaling潜力TRM

论文标题：Farewell to Item IDs: Unlocking the Scaling Potential of Large Ranking Models via Semantic Tokens论文链接：https://arxiv.org/pdf/2601.22694。

原创 阿里：显式稀疏打破推荐规模化天花板

针对推荐数据"高维极稀疏"的本质，本文提出。

原创 Meta：Diffusion-GR2低延迟重排

Diffusion-GR2 将自回归生成式推理重排器 GR2 转换为块扩散解码器，用 CFT 修复并行解码导致的无效排列，用 OPD 缩小训练与推理分布差异，再用 RL 直接优化重排奖励，在 Amazon Beauty 上接近 AR GR2 精度，同时把解码吞吐提升到 2.4–3.5×。

原创 快手OneRetrieval：可编辑生成式电商召回

电商搜索召回想从多分支合并走向单模型，但倒排分支虽然转化低，仍承担“新热词当天可干预”的生产能力。OneRetrieval 用 Keyword-Aligned Encoding，把 SID 的每个位置绑定到可解释属性词，而不是训练时固定的量化向量。6 个属性组、非均匀码本容量、每组 10 个 reserved slot，让运营可把新词绑定到目标商品集合，无需更新模型。HR@350 接近最强生成式基线 OneSearch；IHR@350 比闭码本量化编码高一个数量级；

原创 字节UG-Sep：一次计算复用用户侧Token

UG-Sep 把 TokenMixer 中可复用的用户侧 token 与候选侧 token 显式隔离，让用户侧 PertokenFFN 在同一请求内只算一次，并用信息补偿与 W8A16 量化把线上延迟降低到 11.5%–22.0%。

原创 快手UniFormer特征×任务统一 Co-Scaling 排序框架

快手把工业推荐里长期各自为战的行为建模 / 特征交互 / 多任务学习，重构成一个统一的 Transformer 式 co-scaling 框架 —— 用。

原创 自进化智能体协同进化综述

论文的公式不多，但这几条公式把全文的讨论框住了：agent 是什么、环境是什么、交互如何形成进化闭环。

原创 腾讯NOVA：广告推荐架构Agent演进

NOVA 把工业广告推荐模型的架构演进建模为“架构梯度 + 多级验证”的闭环 Agent Harness，在候选结构进入昂贵训练和线上实验前拦截可运行但语义错误的 silent failure，并在腾讯工业广告系统中把 L3 文献到生产任务的 EPR 提升到 60.0%。

原创 快手RaG-生成式推荐与个性化视频生成统一

SCRL 使用三类奖励：视频质量、兴趣对齐、用户反馈。RqualityRvisualRaudioReffectRquality​Rvisual​Raudio​Reffect​R_quality：视频质量总奖励。R_visual：视觉质量奖励，评估审美、时空一致性、运动稳定性。R_audio：音画对齐奖励，覆盖 TTS 同步与 BGM 一致性。R_effect。

原创 快手-AgentX：推荐系统研发自迭代

AgentX 把工业推荐系统迭代从“工程师串行推进 idea、改代码、跑 A/B、做归因”改造成“多智能体并行生成、实现、上线评估并用轨迹自进化”的闭环系统，在快手 App 三周线上部署中用 3 个 worker 将 374 个想法转成 10 个可全量发布结果，带来 0.561% 用户 App 时长增益和超 1 亿元年化收入。无人工介入时为 1，否则为 0。，表示结构化 intake boundary，包含主目标、业务范围、禁止变更、guardrail、候选产物要求和未决问题；

原创 YouTube | TokenMinds：用户Token与Embedding双表征

TokenMinds 将 PLUM 的 SID 语义离散化能力从 item retrieval 扩展到 YouTube 工业级用户建模，用同一个 encoder-decoder 预训练模型同时产出。

原创 Google：ReAct 推理与行动协同框架

ReAct 把“思考文字（Thought）”和“外部动作（Action）”交错写进同一条推理轨迹，让大模型一边想、一边查、一边改计划，从而显著降低纯 CoT 的幻觉问题，并提升交互式任务成功率。

原创 RCE-KD ：重焕推荐系统知识蒸馏中的交叉熵损失

知识蒸馏最初用于模型压缩：先训练一个能力强但笨重的教师模型（Teacher），再让一个轻量的学生模型（Student）去"模仿"教师的输出，从而在推理时用小模型获得接近大模型的效果。在推荐系统中，模型对用户uuu会输出一个覆盖全部物品的打分向量ru∈R∣I∣ru​∈R∣I∣II是物品全集）。推荐的本质是排序：我们关心的不是每个物品的绝对分值，而是物品之间的相对顺序，尤其是用户最可能喜欢的那批头部物品（Top items）的排序。

原创 高等数学核心知识要点全总结（方便及时查阅）

原创 为什么深度学习中很多模型都采用编码器、解码器结构？

编码器-解码器结构根本原因源于这个结构。

原创 PCA与SVD的联系与区别是什么？

PCA的核心数学实现可视为SVD的协方差场景特例，即当对中心化数据矩阵进行奇异值分解时，其左奇异向量直接对应主成分方向（特征空间基轴），而奇异值的平方恰为协方差矩阵的特征值（表征各维度方差能量）。这种等价性使SVD成为求解PCA的数值稳定捷径，无需显式计算协方差矩阵（避免病态条件问题），直接通过数据矩阵分解一步获得主成分与能量分布。【SVD直接分解，PCA对协方差矩阵操作后分解】奇异值和特征向量存在关系，有λis2in−1λi​s2i​n−1。

原创 如何对各式各样的神经网络有更深刻的理解？

进一步的，想想**“这个结构解决了之前模型的什么痛点？朝着这个方向想更容易理解其设计的意义。

原创 不同类型模型的样本组织形式

在推荐系统中，样本流作为模型的基建至关重要，样本的组织形式通常与模型预估的目标的特点相关，包括PointWise、Parwise和Listwise的建模方式；一般主要是PointWise的模型居多，其次是Listwise的，Pairwise的模型相对较少。

原创 推荐算法工程师的从业必备基础技术栈

推荐算法工程师作为AI算法工程师中诸多岗位中的一个，在互联网公司岗位数量普遍更多，尤其是在互联网大厂，推荐、广告和搜索场景的业务非常多，岗位也相对较多。传统的CV和NLP岗位在互联网公司主要是一些风控、打标签或者为推荐算法模型提供模态特征等工作，实际求职过程竞争也会更加激烈😭，岗位少但是求职者更多，人均顶会在手，更看重Paper的含金量。对个人的技术栈的全面性要求更高，但是对于模型的技术深度相比CV/NLP岗位来比，还是要浅薄一些，但是对个人的动手实践能力要求更高。

原创 粗排/精排/混排在模型结构上的本质差异？

原创 深度学习调参技巧总结

原创 推荐算法电商业务常见术语大全

原创 推荐系统召回粗排的优化思路

召回作为推荐庞大候选底池中捞取候选的入口，一个完整的推荐系统都是由多路召回组成，甚至一些大场景的召回路数几十上百路，每一路召回最终曝光的独占比非常低。从召回迭代初期来看，一般新增合理的召回通路都能带来新线上指标的提升。但随着召回通路不断增加，一是线上召回的机器资源压力激增，二是受边际递减的规律，新增召回的收益会越来越小，最终导致新增召回的 ROI（投入产出比）非常低。因此，召回的迭代路线主要包括新增合理的召回通路，在已有的召回通路上优化迭代，在多路召回每路的权重。新增合理的召回通路。

原创 【工业级成熟设计方案】一个完整的推荐系统的架构设计

从算法侧的视角来看，我们通常看到的是推荐系统召回、粗排、精排和混排（重排）这样的漏斗链路，对应着一次推荐的请求下，从千百万的候选侧底池中一次“捞出”用户最感兴趣的几个候选。候选根据业务场景的指代有所不同，在广告业务下是广告计划，在电商业务下是商品，在推荐业务下是短视频等。

原创 广告算法必备的基本术语汇总大全

这篇摘要概括了数字广告投放的核心概念和关键指标。主要内容包括：广告计费方式（CPM、CPC等）、投放流程（展示、点击、转化）、效果评估指标（CTR、CVR、ROI）、平台技术（DSP、DMP、RTB等）以及价值计算（广告主价值、eCPM）。同时解释了频控、流控等投放策略，区分了不同广告交易模式（PMP、RTB）。重点强调了广告主价值是平台合理收费的上限，指出其与cost的区别，并说明预算限制可能导致实际收费低于广告主价值。这些概念构成了数字广告投放的基础框架和评估体系。