John159151的专栏

论文大体内容本文主要提出了GPT-3.5（InstructGPT）模型，通过使用人类反馈的数据集进行监督学习（RLHF，即reinforcementlearning from human feedback），对GPT模型进行Fine-tune，来达到预期效果。

论文大体内容本文主要提出了GPT-3（Generative Pre-Training）模型，通过大模型pre-train进行In-context Learning，并在Zero-shot Learning、One-shot Learning和Few-shot Learning上进行实验，在NLU任务上有不错的表现，但也就只有较少的task上能比得上Fine-tune的SOTA。

论文大体内容：本文主要提出了GPT-2（Generative Pre-Training）模型，通过大模型pre-train进行Unsupervise Learning，并使用Zero-shot Learning的方式在NLU系列任务中取得收益。Motivation创建通用的大模型，是GPT系列文章的最大目标。而对于未涉猎过的领域（Zero-shot learning），通用大模型的效果会是怎么样的呢？Contribution①训练更通用的pre-train模型；②在zero-shot lea

论文大体内容：本文主要提出了GPT（Generative Pre-Training）模型，通过大模型pre-train + 子任务fine-tune的方式，在NLU系列任务中取得收益。Motivation相对Word2Vec通读全文的方式，本文的GPT模型另辟蹊径，采用通过上文预测下文的方式，更符合人的方式。Contribution①使用半监督学习的方法（大模型pre-train + 子任务fine-tune）进行NLU任务；②在12个task中的9个，取得state-of-art的成绩；

论文大体内容：本文主要提出了一个Pre-trained的模型，通过引入类似BERT的预训练模型到百度搜索引擎的Ranking模块，来提升Ranking的效果。

论文大体内容：本文主要提出了NeuralSort模型，通过引入松弛，对置换矩阵变换为单峰行随机矩阵来解决sorting问题，使之前不能end2end训练（不可微分）的模型也能进行梯度下降优化。Motivation：Sorting问题不可微分，引入松弛来克服这个问题。Contribution：①提出NeuralSort模型，克服不可end2end训练问题；②应用NeuralSort模型到排列问题中（采用Plackett-Luce (PL) 分布）；③该模型在3个任务中取得收益；.......

本文主要提出了SSL（Self-supervised Learning）框架，采用对比学习（Contrastive Learning）的方式用于推荐中召回模型的训练，使模型取得更好的效果。

论文题目: Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction论文地址: https://dl.acm.org/doi/10.1145/3340531.3412744论文发表于: CIKM 2020论文大体内容：本文主要提出了SIM（Search-based Interest Model）模型，用于支持超长用户行为序列建模，从而使得模

论文题目: Learning Graph Meta Embeddings for Cold-Start Ads in Click-Through Rate Prediction论文地址: https://arxiv.org/abs/2105.08909论文发表于: SIGIR 2021（CCF A类会议）论文所属单位: Alibaba论文大体内容：本文主要提出了GME（Graph Meta Embedding）模型来解决item冷启动问题；Motivation：现有模型冷启动问题解决的不够

论文题目: Learning to Warm Up Cold Item Embeddings for Cold-start Recommendation with Meta Scaling and Shifting Networks论文地址: https://arxiv.org/abs/2105.04790论文发表于: SIGIR 2021（CCF A类会议）论文所属单位: 中科院计算所论文大体内容：本文主要提出了MWUF（Meta Warm Up Framework）框架，用于解决冷启动id

论文题目: Warm Up Cold-start Advertisements: Improving CTR Predictions via Learning to Learn ID Embeddings论文地址: https://dl.acm.org/doi/abs/10.1145/3331184.3331268论文发表于: SIGIR 2019（CCF A类会议）论文所属单位: 中科院计算所论文大体内容：本文主要提出了Meta-embedding的方法，用于给新的item生成更好的初始化em

论文题目: Res-embedding for Deep Learning Based Click-Through Rate Prediction Modeling论文地址: https://dl.acm.org/doi/abs/10.1145/3326937.3341252论文发表于: KDD 2019（CCF A类会议）论文所属单位: Alibaba论文大体内容：本文主要提出了Res-embedding的方法，用于优化深度学习模型泛化能力不够强的问题；Motivation：常见的emb

论文题目: Learning Tree-based Deep Model for Recommender Systems论文地址: https://dl.acm.org/doi/abs/10.1145/3219819.3219826论文发表于: KDD 2018（CCF A类会议）论文所属单位: Alibaba论文大体内容：本文主要提出了TDM（Tree-based Deep Model）方法，用于优化推荐系统中触发的问题；Motivation：常见的模型触发方法是Tower，然后使用AN

论文题目: What You Look Matters? Offline Evaluation of Advertising Creatives for Cold-start Problem论文地址: https://dl.acm.org/doi/abs/10.1145/3357384.3357813论文发表于: CIKM 2019（CCF B类会议）论文所属单位: 字节跳动论文大体内容：本文主要提出了PEAC（Pre Evaluation of Ad Creative Model）模型，使用内

论文题目: MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation论文地址: https://dl.acm.org/doi/abs/10.1145/3292500.3330859论文发表于: KDD 2019（CCF A类会议）论文所属单位: NCSOFT论文大体内容：本文主要提出了MeLU模型，使用meta-learning的方法（应用MAML框架[1]）去解决推荐系统上的冷启动问题。Motiva

论文题目: Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks论文地址: http://proceedings.mlr.press/v70/finn17a论文发表于: ICML 2017（CCF A类会议）论文所属单位: OpenAI论文大体内容：本文主要提出了与模型无关的Meta Learning框架，能够用于有效解决few-shot learning下的分类、回归、强化学习等问题。Motivation：传统

论文题目: Efficient Heterogeneous Collaborative Filtering without Negative Sampling for Recommendation论文地址: https://ojs.aaai.org/index.php/AAAI/article/view/5329论文发表于: AAAI 2020（CCF A类会议）论文所属单位: 清华大学论文大体内容：本文主要提出了EHCF（Efficient Heterogeneous Collaborativ

论文题目: MOBIUS: Towards the Next Generation of Query-Ad Matching in Baidu’s Sponsored Search论文地址: https://dl.acm.org/doi/abs/10.1145/3292500.3330651论文发表于: KDD 2019（CCF A类会议）论文所属单位: Baidu论文大体内容：本文主要提出了一个基于Active Learning的数据增强算法——MOBIUS（莫比乌斯），用于解决百度凤巢中广告

论文题目: Representation Learning-Assisted Click-Through Rate Prediction论文地址: https://arxiv.org/abs/1906.04365论文发表于: arXiv 2019论文所属单位: Alibaba论文大体内容：本文主要提出了一个联合学习的框架DeepMCP，对于传统的CTR预测任务，在使用User和Item的特征基础上，还加入了UI之间的关系，II之间的关系进行联合学习，从而得出更好的效果。Motivation：

论文题目: On Sampled Metrics for Item Recommendation论文地址: https://dl.acm.org/doi/abs/10.1145/3394486.3403226论文发表于: KDD 2020 best paper论文大体内容：本文主要论述了在推荐领域中，使用采样testset进行evaluate来比较各个模型，有可能会得出相反的结论。Motivation：数据量太大，所以工业界很多情况下都会选择采样。但是采样后计算的指标，是否与不采样的一致呢，

论文题目: A Survey on Deep Hashing Methods论文地址: https://arxiv.org/abs/2003.03369论文发表于: arXiv 2020论文大体内容：本文主要对使用深度学习的哈希方法进行了较为全面综述，是一篇总结概览近几年来学术界提出的深度哈希方法的文章。Motivation：深度哈希是近几年来的热方向，大家都将传统的哈希方法往深度学习方向引入，以获取更好的end2end哈希表示。Contribution：本文对深度哈希的综述，方便对这

论文题目: Implicit Neural Representations with Periodic Activation Functions论文地址: https://arxiv.org/abs/2006.09661论文发表于: arXiv 2020论文大体内容：本文主要提出使用sin来做激活函数，并且在特定任务上比relu好。Motivation：如何更好的处理复杂信号（如音频、图像、3D）是一个问题。Contribution：①本文提出使用周期激活函数来处理复杂信号（音频、图像

论文题目: AUCµ: A Performance Metric for Multi-Class Machine Learning Models论文地址: http://proceedings.mlr.press/v97/kleiman19a.html论文发表于: PLMR 2019论文大体内容：本文主要提出了在多分类下的AUC计算方法——AUCµ，具有与AUC同样的特性。Motivation：二分类问题往往会使用AUC进行eval，而多分类上往往会使用softmax。本文提出了AUCµ是为

论文题目: TabNet: Attentive Interpretable Tabular Learning论文地址: https://arxiv.org/abs/1908.07442论文发表于: arXiv 2019论文大体内容：本文主要提出了TabNet模型，能够高效地在tabular数据上完成分类/回归的任务，且具可解释性。本文提出的模型是用DNN的方式获得树模型的可解释性，且超越树模型的效果。Motivation：tabular数据一般都使用树模型去处理，怎么用DNN去实现树模型的效

论文题目: Learnable pooling with Context Gating for video classification论文地址: https://arxiv.org/abs/1706.06905论文发表于: arXiv论文大体内容：本文主要提出了Gated NetVLAD模型，用于给视频打标，并在kaggle比赛中取得第一名。Motivation：如何更有效的对视...

论文题目: PyTorch-BigGraph: A Large-scale Graph Embedding Framework论文地址: https://arxiv.org/abs/1903.12287论文发表于: SysML 2019论文大体内容：本文主要实现了大规模数据下的graph embedding，在效果微涨的情况下，训练性能有显著的提升，对于工业界大规模图网络的embeddi...

论文题目: EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks论文地址: https://arxiv.org/abs/1905.11946论文发表于: ICML 2019论文大体内容：本文主要提出了EfficientNet模型，来同时考虑网络的deep、width、resolution（分辨率）...

论文题目: Class-Balanced Loss Based on Effective Number of Samples论文地址: http://openaccess.thecvf.com/content_CVPR_2019/html/Cui_Class-Balanced_Loss_Based_on_Effective_Number_of_Samples_CVPR_2019_paper.ht...

论文题目: On the Measure of Intelligence论文地址: https://arxiv.org/pdf/1911.01547.pdf论文发表于: arxiv论文大体内容：这篇论文比较有趣，作者主要讨论了怎么测量AI，什么才是AI。然后作者提出了ARC数据集（Abstraction and Reasoning Corpus），用于更好的测量AI的能力。Motiv...

论文题目: DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks论文地址: https://dl.acm.org/citation.cfm?id=3330858论文发表于: KDD 2019论文大体内容：本文主要提出了DeepGBM模型，来整合NN与GBDT的优势，支持sparse...

论文题目: Deep Learning Recommendation Model for Personalization and Recommendation Systems论文地址: https://arxiv.org/abs/1906.00091论文发表于: arxiv 2019论文大体内容：本文主要提出了deep learning recommendation model（DLRM...

论文题目: Wide & Deep Learning for Recommender Systems论文地址: https://dl.acm.org/citation.cfm?id=2988454论文发表于: DLRS 2016（RecSys 2016的Workshop，CORE B类会议）论文大体内容：本文主要提出了WDL（Wide & Deep Learning）模型...

论文题目: xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems论文地址: https://dl.acm.org/citation.cfm?id=3220023论文发表于: KDD 2018（CCF A类会议）论文大体内容：本文主要介绍了DeepFM模型的变种——xDee...

论文题目: Field-aware factorization machines for CTR prediction论文地址: https://dl.acm.org/citation.cfm?id=2959134论文发表于: RecSys 2016（CORE B类会议）论文大体内容：本文主要介绍了FM模型的变种——FFM（Field-aware Factorization Machin...

论文题目: DeepFM: a factorization-machine based neural network for CTR prediction论文地址: https://www.ijcai.org/proceedings/2017/0239.pdf论文发表于: IJCAI 2017（CCF A类会议）论文大体内容：本文主要介绍了一种融合FM和DNN的模型——DeepFM模型，...

论文题目: Factorization Machines论文地址: https://ieeexplore.ieee.org/abstract/document/5694074论文发表于: ICDM 2010（CCF B类会议）论文大体内容：本文主要介绍了FM模型，该模型相比与SVD++，PITF，FPMC等有明显的优势，同时FM模型也能学习出这几个模型的效果，是一种高效、通用、不惧稀疏的...

论文题目: RippleNet: Propagating User Preferences on the Knowledge Graph for Recommender Systems论文地址: https://dl.acm.org/citation.cfm?id=3271739论文发表于: CIKM 2018（CCF B类会议）论文大体内容：本文主要介绍了一种通过引入Knowledge...

论文题目: Ad Click Prediction: a View from the Trenches论文地址: https://dl.acm.org/citation.cfm?id=2488200论文发表于: KDD 2013（CCF A类会议）论文大体内容：本文主要介绍了FTRL模型的工程实现，并且作者尝试的多个trick。这也是LR模型处理大规模数据下，所发展出来的优化模型FTRL...

论文题目：Lifelong aspect extraction from big data knowledge engineering 论文地址：http://casmodeling.springeropen.com/articles/10.1186/s40294-016-0018-7论文大体内容： 本文通过调查、分析现有的基于知识库的主题模型，对比彼此的相同与不同，并分析各自的缺点，以及在不同

论文题目: Deep Interest Network for Click-Through Rate Prediction论文地址: https://dl.acm.org/citation.cfm?id=3219823论文发表于: KDD 2018（CCF A类会议）论文大体内容：本文主要介绍了阿里妈妈团队用于CTR任务的DIN（Deep Interest Network）模型，该模型通...