LHUC 模型内部差异化

最新推荐文章于 2025-03-10 11:37:52 发布
最新推荐文章于 2025-03-10 11:37:52 发布
阅读量1w 收藏 4
点赞数
分类专栏： deep learning recommender systems
原文链接：https://baijiahao.baidu.com/s?id=1690656269614038605&wfr=spider&for=pc
版权
这篇博客探讨了Learning Hidden Unit Contributions (LHUC)方法在处理混合数据源的模型训练中的应用，通过将数据源差异性引入神经网络以优化模型适应性。同时，文中提及了超越Google的快手公司成功落地了业界首个万亿参数的推荐模型，展示了大规模模型在精准推荐领域的突破。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

精通推荐算法27：行为序列建模之BST— 代码实现
谢杨易的博客
08-21 1248
上文讲解了BST的背景和模型结构，本文给出其代码实现，供大家参考。
工业界真实的推荐系统(小红书)-物品冷启动：全链路优化、流量调控（提权、保量、差异化保量）
qq_17065591的博客
03-14 1345
王树森老师的硬核课程，由于PPT很多，并且老师的很多经验是口述，没有写在PPT里，网上有一些网友的笔记，但不是很完整，学习起来也比较费事，所以我自己整理了120页的PPT（这里放的是截图），期望能比较完整地把老师的经验呈现出来，同时缩短学习时间。课程特点：系统、清晰、实用，原理和落地经验兼具。
特征交叉03 LHUC (PPNet)
DEVIL_hym的博客
10-22 754
LHUC 只能用于精排。多目标模型中的神经网络可以用全连接网络 、深度交叉网络 或者LHUC等。
人工智能|推荐系统——工业界的推荐系统之交叉
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
05-06 454
SENet 对离散特征做field-wise加权，如果有𝑚 个fields，那么权重向量是𝑚 维。FiBiNet可以理解为同时考虑了SENet 结合 Field 间特征交叉。之前提到过的召回、排序模型中的神经网络可以用任意网络结构；LHUC起源于语⾳识别，快⼿将LHUC应⽤在推荐精排，称作PPNet。深度交叉网络就是两个分支，一边是全连接，一边是交叉网络。线性模型预测是特征的加权和。交叉网络就是多个交叉层串起来的网络。可以通过矩阵分解减少模型参数量。Field 间特征交叉。
推荐系统学习8
最新发布
qq_45443108的博客
03-10 258
特征交叉，在召回和排序中都会用到如果d比较小，二阶交叉没有问题，但如果d很大，计算代价太大，而且容易出现overfiting。
（9）工业界推荐系统-小红书推荐场景及内部实践【排序模型】
Pain is inevitable but suffering is optional.
07-11 1024
（1）工业界推荐系统-小红书推荐场景及内部实践【业务指标、链路、ItemCF】 （2）工业界推荐系统-小红书推荐场景及内部实践【UserCF、离线特征处理】 （3）工业界推荐系统-小红书推荐场景及内部实践【矩阵补充、双塔模型】 （4）工业界推荐系统-小红书推荐场景及内部实践【正负样本选择】 （5）工业界推荐系统-小红书推荐场景及内部实践【线上召回和模型更新】 （6）工业界推荐系统-小红书推荐场景及内部实践【其他召回通道】 （7）工业界推荐系统-小红书推荐场景及内部实践【冷启动问题1】 （8）工业界推荐系统-
多任务建模之PPNet
热门推荐
weixin_38381682的博客
10-11 1万+
多任务ppnet网络结构
【推荐系统】wss课程-特征交叉
littlemichelle
08-07 821
总结：工业界推荐的精排模型全都是pointwise
动态权重：推荐算法的新范式
Kaiyuan_sjtu的博客
04-28 4333
前言设计范式（Design Pattern）是各位码农都应该熟悉的概念。Design Pattern针对软件开发普遍存在的各种问题，提出可复用解决方案。同时，Design Pattern也为程序员之间的交流提供了共同语言。比如，我说我的程序采用了Template Method模式，其他程序员就能对我的程序结构猜个八九不离十。其实，在我们设计推荐算法模型的时候，也有很多设计...
HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units
weixin_45259560的博客
12-30 4404
HuBERT翻译
快手推荐精排模型的发展史
qq_25864747的博客
07-29 2699
1、参数个性化 CTR 模型 - PPNet 　　2019 年之前，快手 App 主要以双列的瀑布流玩法为主，用户同视频的交互与点击，观看双阶段来区分。在这种形式下， CTR 预估模型变得尤为关键，因为它将直接决定用户是否愿意点击展示给他们的视频。彼时业界主流的推荐模型还是以 DNN、DeepFM 等简单的全连接深度学习模型为主。但考虑到某用户个体和视频的共建语义模式在全局用户的共建语义模式基础上会有个性化的偏差，如何在 DNN 网络参数上为不同用户学习一个独有的个性化偏差成为了快手推荐团队优化的方向。在.
基于深度学习的语音识别技术现状与展望_戴礼荣.pdf
11-21
首先对深度学习的发展历史以及概念进行简要的介绍。然后回顾最近几年基于深度学习的语音识别的研究进展。这一部分内容主要分成以下5点进行介绍:声学模型训练准则,基于深度学习的声学模型结构,基于深度学习的声学模型训练效率优化,基于深度学习的声学模型说话人自适应和基于深度学习的端到端语音识别。最后就基于深度学习的语音识别未来可能的研究方向进行展望。
工业界真实的推荐系统(小红书)-特征交叉：FM、DCN、LHUC、SENet、FiBiNet
qq_17065591的博客
03-14 2073
王树森老师的硬核课程，由于PPT很多，并且老师的很多经验是口述，没有写在PPT里，网上有一些网友的笔记，但不是很完整，学习起来也比较费事，所以我自己整理了120页的PPT（这里放的是截图），期望能比较完整地把老师的经验呈现出来，同时缩短学习时间。课程特点：系统、清晰、实用，原理和落地经验兼具。
MaskNet 这个CTR模型，有点意思
炼丹笔记
04-11 2553
CTR模型相关论文，大家已经看了很多了，如FNN、DeepFm、XDeepFM等，难免会"审美疲劳"，所以这些模型真的充分挖掘了交叉特征了吗？这篇论文《MaskNet: Introducing Feature-Wise Multiplication to CTR Ranking Models by Instance-Guided Mask》提出了MaskBlock更好的挖掘交叉特征，提升点击率模型...
lua 源代码解析
iteye_14888的博客
04-26 603
lua 源代码解析 源代码版本：lua-5.2.0 一、概览 1、lua脚本中暴露的库相关 lbaselib.c - 基础函数库（方便使用lua内部的功能） lbitlib.c - 位运算库 lcorolib.c - 协程库 lstrlib.c - 字符串库，提供通用字符串处理功能 lstring.c - 字符串表（保存所有由Lua操作的字符串集合） lmathlib.c...
三大视角，聊聊我眼中的广告系统
Kaiyuan_sjtu的博客
09-06 1331
作者|wulc整理|NewBeeNLP从实习到工作，接触过一些大大小小的广告系统，有麻雀虽小但五脏俱全的小 dsp，也有把 ssp、adx、dsp 都打包了的大媒体 ，算是对业界...
基于DNN-HMMs的语音识别原理
Magical_Bubble的博客
06-02 4548
在上一篇博客基于GMMs-HMMs的语音识别原理中，介绍了第一代较为成熟的GMMs-HMMs语音识别模型。但随着神经网络技术的发展，后面又出现了基于DNN-HMMs的语音识别模型，一句话概括就是用DNN代替之前的GMMs，有更好的建模能力。这篇博客将详细介绍它的原理。
Empirical Evaluation of Speaker Adaptation on DNN based Acoustic Model
weixin_30597269的博客
06-07 147
DNN声学模型说话人自适应的经验性评估 2018年3月27日 发表于：Sound (cs.SD); Computation and Language (cs.CL); Audio and Speech Processing (eess.AS) 说话人自适应时从说话人无关模型中估计一个说话人相关的声学模型，以减小训练集与测试集由于说话人差异导致的不匹配。 已...
INTERSPEECH 2018 | 语音识别技术之说话人自适应技术
wgc7998的博客
11-29 4360
《Learning to adapt: a meta-learning approach for speaker adaptation》 这篇文章来自爱丁堡大学，以下是摘要：         通过调整声学模型来补偿训练和测试条件之间的不匹配，例如通过适应看不见的说话人，可以改善ASR的识别性能。 说话人自适应方法的成功依赖于选择适合于自适应的权重并使用良好的自适应策略来更新这些权重以便不过拟合...
【trick】推荐算法中的调参技巧总结
发现问题，并解决问题，批判性思维
11-30 2120
1. 做新模型的时候，最开始不要加激活函数，不要加batchnorm，不要加dropout，先就纯模型。然后再一步一步的实验，不要过于信赖经典的模型结构(除非它是预训练的)，比如加了dropout一定会有效果，或者加了batchnorm一定会有提升所以先加上，首先你要确定你的模型处于什么阶段，到底是欠拟合还是过拟合，然后再确定解决手段。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值