论文笔记
文章平均质量分 95
rogeroyer
要么庸俗,要么孤独。
展开
-
论文笔记之《Pre-trained Language Model for Web-scale Retrieval in Baidu Search》
预训练语言模型在百度搜索中的应用原创 2022-08-02 17:10:31 · 967 阅读 · 1 评论 -
神经网络中的数值特征Embedding化方法
一种针对数值特征的Embedding学习框架AutiDis原创 2022-07-29 20:54:58 · 1795 阅读 · 0 评论 -
Layer/Batch/Instance Normalization
总览图中N表示batch,C表示CV中的通道(NLP中的序列长度、时间步),如果是图像则【H,W】表示每个通道下二维像素矩阵的高和宽,NLP中就只有一维特征向量。Batch Norm依赖Batch,对【Batch, H, W】三个维度做标准化;Layer Norm不依赖Batch,对【C,H,W】三个维度做标准化。Instance Norm既不受Batch也不受其它通道的影响,只对【H,W】两个维度做标准化。三种标准化的表示式形式都相同,其区别在于xxx的表示不同,其公式如下:y=x−E[x]Var原创 2020-12-15 11:28:29 · 470 阅读 · 0 评论 -
《Neural Collaborative Filtering》论文阅读笔记
本文的创新在于,使用神经网络框架来代替MF中的内积,将MF和MLP的线性以及非线性特点相结合,使用预训练参数来初始化模型,进一步提升模型性能。本文思路清晰,逻辑严谨,细节说明很到位,实验对比完整且比较有说服力,很值得学习。因此我将笔记整理出来分享一下,如果有不对的地方,多多包涵,尽请批评指出。目录摘要引言本文的贡献矩阵分解的限制神经协同过滤框架NCF优化方法通用矩阵分解多层感知机(MLP)通用矩阵分解和多层感知机的融合(NeuMF)预训练实验数据评价指标对比算法实验设置实验结果原论文开源代码地址结果复现原创 2020-08-11 20:36:34 · 581 阅读 · 0 评论