JerryLu-CN-CSDN博客

原创【学习笔记】推荐中的user信息表征

一般来说，推荐场景下item_id的自监督数据量比user_id大得多，所以item_id的embedding表示能够很好的表示item的信息。但是相比之下user_id的embedding容易过拟合，一般user侧还会添加其他特征。1、基本属性（长期特征）：人口统计特征(年龄、性别、职业等)；长期偏好，比如长期的偏好的item的标签众数等2、行为特征长期和短期的点击item序列编码的方法有max/mean/sum pooling等或者深度学习方法：DIN -> DIEN -> D

2020-08-13 22:29:14 311

原创 LTR问题 position debias方法

LTR中的一个常见问题就是position debias，在面试诸如推荐、搜索这样的职位的时候很有可能被问到。所谓position bias就是指，当给用户展现搜索和推荐结果时，用户倾向于点击第一个item的这个行为里面，既有item的质量的影响，还有item排在第一个这个事件本身的影响。所以直接从原始log的数据中学习排序模型的学到的结果是有偏的。那么解决这种bias的方法主要有一下几种：1、样本安排的trick：a. 正样本后的样本都不算到训练样本中，如下图所示。这样就不会计算正样本后的样本，因为

2020-08-13 16:44:47 1046

原创关于交叉熵下softmax和sigmoid的求导

原创不易，转载请注明出处 ^ _ ^1、交叉熵 + sigmoid 反向传播sigmoid函数：这里xxx表示神经网络最后一层输出的一个神经元的激活值σ(x)=11+exp(−x)\sigma(x) = \frac{1}{1+exp(-x)}σ(x)=1+exp(−x)1sigmoid函数对xxx求导：∂σ(x)∂x=σ(x)(1−σ(x))\frac{\partial{\sigma(x)}}{\partial{x}} = \sigma(x)(1-\sigma(x))∂x∂σ(x)=σ(

2020-08-13 11:01:56 2064

原创深入理解实际场景下 AUC vs F1 的区别——不说废话

面试的时候经常被问的一个问题是 AUC和F1 score有什么区别。笔者看了很多博文，感觉相当一部分在分析混淆矩阵和auc、f1的定义上花了太多笔墨，但对于两者的区别和联系，有种到了门前就差临门一脚的感觉。因此笔者去stack overflow上找了很多回答，感觉收获很多，在此简明扼要的写一下收获。如有纰漏欢迎指正。1、定义：AUC的优化目标：TPR和(1-FPR)F1的优化目标：Recall和Precision这里不再对混淆矩阵(TP、FP、TN、FN)相关的一些很细的概念做详细解释，推荐去看一下

2020-08-10 16:16:32 19848 14

Jerry_Lu_ruc的博客

原创【学习笔记】推荐中的user信息表征

原创 LTR问题 position debias方法

原创关于交叉熵下softmax和sigmoid的求导

原创深入理解实际场景下 AUC vs F1 的区别——不说废话

转载【转载】Transformer vs CNN vs RNN 时间复杂度比较

原创 Transformer《Attention Is All You Need》阅读笔记

原创 BERT 基于transformer的语言模型阅读笔记

原创推荐系统冷启动的解决方案

原创动态规划典型题：给定正整数n，将其划分为正整数的和，求划分方法数

空空如也

空空如也