paper
文章平均质量分 83
论文阅读
一杯敬朝阳一杯敬月光
生命不息,代码不止
展开
-
paper阅读 Real-time Personalization using Embeddingsfor Search Ranking at Airbnb
论文阅读原创 2022-12-10 01:16:35 · 218 阅读 · 0 评论 -
paper 阅读: An introduction to ROC analysis
auc ROC原创 2022-11-24 18:20:13 · 904 阅读 · 0 评论 -
paper 阅读 - BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding
paper阅读,BERT,论文发布于2019原创 2022-10-16 14:04:42 · 244 阅读 · 0 评论 -
Distillation based Multi-task Learning: A Candidate GenerationModel for Improving Reading Duration
paper 阅读,基于知识蒸馏的多任务学习-提高阅读时长的召回模型2021原创 2022-10-06 00:57:48 · 324 阅读 · 0 评论 -
Transformer - Attention Is All You Need - 跟李沐学AI
Transformer paper 详细阅读原创 2022-09-18 00:38:16 · 1058 阅读 · 0 评论 -
paper学习笔记 - PLE
PLE学习原创 2022-08-29 20:16:46 · 768 阅读 · 0 评论 -
Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics 阅读
学习笔记原创 2022-06-23 14:56:02 · 1106 阅读 · 0 评论 -
DiSAN: Directional Self-Attention Network forRNN/CNN-Free Language Understanding 笔记
DiSAN阅读笔记原创 2022-06-19 23:08:10 · 565 阅读 · 0 评论 -
MMOE 【Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts】阅读
阅读笔记原创 2022-06-19 00:42:20 · 434 阅读 · 0 评论 -
Entire Space Multi-Task Model(ESMM)阅读
论文地址:https://arxiv.org/pdf/1804.07931.pdf论文还公开了数据集:数据集-阿里云天池阿里开源的git地址:x-deeplearning/xdl-algorithm-solution/ESMM/script at master · alibaba/x-deeplearning · GitHubABSTRACT介绍了传统的CVR模型的两个缺点:样本选择偏差,训练集的样本是产生点击的样本,但是我们线上用的却是在整个空间的推断,这会影响模型的泛化能力。t.原创 2022-04-26 14:12:16 · 388 阅读 · 0 评论 -
Distributed Representations of Words and Phrasesand their Compositionality
摘要首先表明continuous Skip-gram 模型学习到的distributed vector representations 可以捕获到语法和语义关系。对高频词的下采样有助于提升训练速度,且可以learn more regular word representations。用negative sampling来代替hierarchical softmax 。word representations无法区别词序,也无法表示短语。文中举例,“Air Canada”(加拿大航空公司)的含义是..原创 2022-01-13 01:58:58 · 504 阅读 · 0 评论 -
Wide & Deep Learning for Recommender Systems 阅读
摘要非线性特征变换的广义线性模型广泛应用于有稀疏特征输入的大规模回归和分类问题。通过特征交叉得到的memorization of feature interactions具有很好的效率以及可解释性,但是这种做法的泛化需要在特征工程上投入更多的精力。在特征工程下投入更少的精力,通过学习稀疏特征的低维稠密embedding向量,deep网络可以在隐式的特征交叉上取得很好的泛化性能。然而带embedding的deep网络可能过度泛化,特别是当user-item的交互是高维稀疏的时候,可能会推荐不相...原创 2021-02-01 13:02:39 · 311 阅读 · 0 评论 -
DeepFM: A Factorization-Machine based Neural Network for CTR Prediction 阅读笔记
摘要Despite great progress, existing methods seem to have a strong bias towards low- or high-order interactions, or require expertise feature engineering.原创 2021-06-07 23:37:29 · 156 阅读 · 2 评论 -
Deep & Cross Network for Ad Click Predictions 阅读笔记
摘要特征工程是很多预测模型成功的关键。这个过程并不容易,需要手动进行特征工程或者遍历搜索。DNN可以自动学习特征交汇。然而他们是隐式的生成特征交互;并不能充分学习到所有的特征交互。在这篇文章中,我们提出了Deep & Cross Network(DCN),DCN保留了DNN的优势,它引入了一种新的交叉网络,可以有效地捕获有限阶(bounded-degrees)上的有效特征交叉。特别地,DCN在每一层进行显示的特征交叉,切不需要手动的特征工程,像对于DNN来说,模型的复杂度也没有提升多...原创 2021-02-05 22:37:26 · 204 阅读 · 0 评论 -
Deep Interest Evolution Network for Click-Through Rate Prediction 阅读笔记
摘要点击率(Click-through rate,CTR)预测是广告系统的核心任务之一,其目标是估计用户点击的概率。对于CTR预测模型,需要捕获用户行为数据背后潜在的用户兴趣。此外,考虑到外部环境和内部认知的变化,用户兴趣会随着时间的推移而动态变化。兴趣建模的CTR预测方法有多种,但大多是将行为的表征直接视为兴趣,缺乏对具体行为背后潜在兴趣的专门建模。此外,很少有研究考虑到兴趣的变化趋势。在本文中,我们提出了一个新的模型,称为深兴趣演化网络(DIEN),用于CTR预测。具体地说,我们设计了兴...原创 2021-01-18 13:32:44 · 520 阅读 · 0 评论 -
Practical Lessons from Predicting Clicks on Ads at Facebook 阅读笔记
学习笔记原创 2021-01-13 13:14:29 · 208 阅读 · 1 评论 -
Deep Interest Network for Click-Through Rate Prediction 阅读笔记
摘要在电子商务行业的在线广告系统中,如何利用丰富的历史行为数据更好地提取用户的兴趣,是建立点击率预测模型的关键。对用户行为数据有两个关键的观察结果:i)多样性。用户在访问电子商务网站时对不同种类的商品感兴趣。ii)局部激活。用户是否点击一个好的只取决于他们相关的历史行为的一部分。然而,大多数传统的CTR模型缺乏对这些行为数据结构的捕捉。在本文中,我们介绍了一个新的模型,深度兴趣网络(DIN),它是在阿里巴巴的展示广告系统中开发和部署的。DIN通过兴趣分布来表示用户的不同兴趣,并设计了一个类似注意的...原创 2021-01-04 12:35:28 · 525 阅读 · 0 评论 -
Ad Click Prediction: a View from the Trenches 阅读
目录摘要摘要预测广告点击率(CTR)是一个大规模的学习问题,是数十亿美元在线广告业的核心。我们从部署的CTR预测的实验中提出了一系列的案例研究和课题。包括用FTRL-Proximal在线学习算法(其具有优良的稀疏性和收敛性)和使用不同的学习率(the use of per-coordinate learning rates)提升传统的监督学习算法。我们还探讨了现实世界中出现的一些传统机器学习研究领域之外的挑战。这些方法包括节省内存的实用技巧、评估和可视化性能的方法、为预测概率提供..原创 2020-12-18 00:55:47 · 331 阅读 · 0 评论 -
SVD解线性方程组(非齐次)
对于任一给定的矩阵A(m * n),都存在这样的分解: 其中, U是一个m * m的酉矩阵,S是一个m * n的矩阵,除了主对角线上的元素以外全为0,主对角线上的每个元素都称为奇异值, V是一个n * n的酉矩阵。求解解线性方程组Ax=b svd(A) = USV',令X=V'x,B=U'b,则有SX=B,由于S是对角阵,可轻易求出X,又由于V是正交阵,则x=V...原创 2020-04-04 23:23:25 · 6187 阅读 · 5 评论 -
中文分词:MMSEG
概述单词是一个基本的语义单元,不同于英文,中文句子中没有词的界限,因此进行中文自然语言处理,通常需要先进行分词,分词效果将直接影响词性、句法树等模块的效果。中文分词算法大概分为两大类:一是基于字符串匹配,即扫描字符串,使用如正向/逆向最大匹配,最小切分等策略(俗称基于词典的) ;二是基于统计以及机器学习的分词方式(非词典方法) 。MMSEGmmseg本质上就是前向最大匹配+消除歧义规则+贪心,它由...原创 2018-03-13 19:14:28 · 294 阅读 · 0 评论