村头陶员外的博客

本次要总结分享的是DeepMind出品的强化学习经典DQN原始论文，论文链接DQN Paper，DeepMind使用该DQN方法，在某些电玩游戏上，机器表现超越人类。动机和创新点本篇论文所提方法是第一个将深度网络和强化学习结合起来进行训练的方法，具体而言，将深度网络（卷积网络）提取高维特征，使用Q-learning的学习方式来训练整个网络。对于一些高维复杂场景，状态特征很难通过人工特征工程的方式提取，这对传统的一些强化学习算法带来挑战，而近些年流行的深度学习，能很好的从高维特征提取到高级特征，并且在

本文将总结 强化学习中的一个重要基础知识，Bellman Equation。文章目录value based 方法The V-function: the value of the stateThe Q-function: The value of the actionThe Bellman EquationBellman equation for the State-value functionBellman equation for the Action-value function参考资料value

因为工作中涉及到强化学习知识，故开始利用闲暇时间学习，主要参考的书籍是 Richard S.Sutton 和 Andrew G.Barto 编写的 Reinforcement Learning （第二版）。本章主要总结 书籍的第一章：Chapter 1 Introduction强化学习 是做什么强化学习 就是 学习，如何将环境状态（situations）映射到动作（action），并且期望执行该动作能获得奖励（reward）越大越好。强化学习不是用来告诉哪个action应该被执行，而是学习和发现哪个

本次要总结分享的论文：论文链接：Graph Attention network（GAT)来源会议：ICLR 2018作者：Petar Velickovic, Guillem Cucurull, Arantxa Casanova, Yoshua Bengio参考代码：GAT-CODE本篇论文的核心内容其实很简单，就是将 NLP领域的 注意力机制 延用到不规则的 图结构上，使得节点在聚合其邻居节点信息时，能自适应的分配不同邻居不同权重。实验显示取得了不错的效果。本论文是GNN领域内重要的一篇论文，

本次要总结的是 论文 Inductive Representation Learning on Large Graphs，参考的实现代码链接code，本篇论文是GNN领域内一篇非常重要的论文，值得认真读下。论文动机和创新点将大图中的节点用低维度的稠密向量表示，已经被证明是非常有用的方法，但是现有的大部分方法，都是将图中的所有节点扔进模型中进行训练，本质还是直推式的，其训练得到的模型不容易推广到未见过的节点，或者一张新的图上。本论文涉及两个重要概念，分别如下： transductive：直推式，

本次要总结和分享的是ICLR2017的关于GCN方面的代表作之一论文：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS，论文链接 paper先导知识在读这篇论文之前，需要对论文 Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering 有着深入的理解，否则里面数学推导会让人感到迷茫。关于该论文，之前的博文已经对其推导过程进行了

本次要总结的论文题目是FLEN: Leveraging Field for Scalable CTR Prediction，发表于KDD2020，论文链接是FLEN，参考的论文实现代码是flen-code，首先得说这篇论文不值得精读，我大概陆陆续续花了半个星期读完论文和代码，发现根本不值得我思考这么久，实现代码和论文里某些细节不是很符合，对论文里的实验结果表示怀疑。感觉就是篇水文，但是既然读完了，就总结下吧，也许是我水平有限，无法领略文章的深度呢。文章目录动机模型样本定义Embedding LayerFi

本次要分享的论文是 2014年的cikm论文 Modeling Paying Behavior in Game Social Networks，本论文由 腾讯公司和 清华大学联合出品，深入探讨了 如何挖掘 游戏数据中的 高潜付费玩家，并且就历史数据，详细分析了 免费玩家 向 付费玩家转化规律。虽然本论文所提模型比较简单，但是其中的数据分析和实验分析过程，对业务而言，十分具有参考价值。文章目录论文动机数据分析数据集特征设计和分析一些基础特征社会影响特征（Social Effects）Social Influ

本次要总结的论文是 Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts，参考的实现代码为 keras-mmoe。文章目录论文动机和创新点模型三种网络在合成数据上的对比实验合成数据生成过程任务相关程度 对 模型效果影响三种模型对比实验代码分析个人总结参考资料论文动机和创新点多任务学习在推荐系统里有着广泛的应用，在多任务学习中，我们希望能建立单一模型，可以对多个目标同时进行学习和建模（

本次要分享的论文是 CTR/推荐 领域内又一篇论文，论文链接dien，参考的实现代码 mouna-dien。和之前分享CTR论文类似，本论文难度不大，读起来较容易。文章目录论文动机及创新点模型Behavior LayerInterest Extractor LayerInterest Evolving Layer核心代码分析auxiliary lossAUGRU总结参考资料论文动机及创新点利用用户历史行为数据，对用户的兴趣演变进行建模对CTR效果至关重要，但是目前大部分CTR方法 将行为表征直接视

本次要分享的是 推荐系统/CTR 领域的论文，论文链接Deep Interest Network for Click-Through Rate Prediction，参考的代码链接 DeepInterestNetwork。论文动机及创新点目前基于深度学习的CTR模型，大多都是 embedding&MLP 的方式建模，具体而言，就是将高维稀疏的特征向量压缩成低微稠密向量，并且其长度固定，在此基础上再接个多层感知机来学习特征之间的非线性关系。但是这种将其转换成长度固定向量的方式，较难捕捉用户的多峰

本次要总结分享的是 推荐/CTR 领域内著名的deepfm 论文，参考的代码tensorflow-DeepFM，该论文方法较为简单，实现起来也比较容易，该方法在工业界十分常用。文章目录论文动机及创新点模型结构输入数据FM部分Deep部分代码分析数据预处理定义DeepFM模型超参数构图总结参考资料论文动机及创新点在deepfm提出之前，现有的模型很难很好的提取低阶和高阶的交互特征，或者需要足够丰富的人工特征工程才能进行。一些特性交互很容易理解，可以由专家（对业务逻辑很了解的人）设计。然而，大多

本次要总结的是条件随机场(CRF)相关知识

博客内容将首发在微信公众号"跟我一起读论文啦啦"，上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文，欢迎关注！本次要总结的论文是 Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering，论文链接GCN，参考的代码实现GCN-code。不得不说，读懂这篇论文难度较大，因为里面有许多数学推导，要了解较多的数学知识。本人数学一般，因此在读本论文的同时参考了网上大部分较优秀的讲解，这里会结

本篇博文主要总结论文 Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search，论文链接 gbs，参考的实现代码 codes。首先不得不说，对于初学者来说，beamsearch是一种稍微难理解的算法，而在此算法上衍生的grid beam search就更复杂了，因此本论文读起来有一定的难度。论文动机普通的beamsearch是由动态规划的方法找到最优的生成序列，但是这种方法在交互翻译场景可能并不适用，

博客内容将首发在微信公众号"跟我一起读论文啦啦"，上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文，欢迎关注！本次要总结和分享的论文是struc2vec，参考的代码code，不同于以往根据顶点在图中位置以及与其他顶点距离关系来学习顶点的表示，本论文提出的一种独立于顶点位置，属性的方法来捕捉顶点的stronger notions of structural identity，...

博客内容将首发在微信公众号"跟我一起读论文啦啦"，上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文，欢迎关注！本次要分享的论文是来自KDD2016的工作，论文链接Structural Deep Network Embedding，（简称SDNE）参考的代码链接 CODE。本篇论文同样致力于利用图结构，获取节点的embedding representation，定义了与 LI...

本次要总结和分享的是正在ICLR2020审稿的，关于NLU对抗学习的论文：FreeLB: Enhanced Adversarial Training for Language Understanding，论文链接 FreeLB，感觉该论文方法创新和实验效果均还不错，由于本人在对抗学习领域上水平有限，在此就对本篇论文进行一个浅显的解读，如有错误还望指正。论文动机对抗训练的初衷：目前人工智能技术...

本次要总结和分享的论文是 LINE: Large-scale Information Network Embedding，其链接 论文，所参考的实现代码 code，这篇论文某些细节读起来有点晦涩难懂，不易理解，下面好好分析下。论文动机和创新点information network 在现实世界中无处不在，例如最常见的社交网络图。而这种网络通常包含 百万以上的节点和数以十亿记的边，如果能将这种...

本次要分享和总结的论文为：SeqGAN:SequenceGenerativeAdversarialNetswithPolicyGradientSeqGAN:\ Sequence\ Generative\ Adversarial\ Nets\ with\ Policy\ Gradient，其论文链接SeqGAN，源自AAAI−17AAAI-17，参考的实现代码链接代码实现。本篇论文

本篇博文分享和总结下论文Learning to Rank:From Pairwise Approach&nbsp

严格来说，这并不是一篇论文，只是一个reportreportreport ，里面系统的介绍了三个比较著名的排序模型RankNet、LambdaRank、LambdaMARTRankNet、LambdaRank、LambdaMARTRankNet、LambdaRank、LambdaMART ，链接 Rank本篇博文将分析总结下前两个排序模型RankNet、LambdaRankRankNet、La...

本文要分享总结的是论文Improving Language Understanding by Generative Pre-Training，论文链接openAI-GPT.论文动机以及创新点现实世界中，无标签的文本语料库非常巨大，而带有标签的数据则显得十分匮乏，如何有效利用无标签的原始文本，对缓解自然语言处理相关任务对有监督学习方式的依赖显得至关重要。有效的从无标签文本中利用超单词级...

本次总结和分享一篇大佬推荐看的论文improving multi-task deep neural networks via knowledge distillation for natural language understanding， 论文链接MT-DNN-KD动机和创新点集成学习的方法对提高模型的泛化能力在众多自然语言理解任务上已经得到了验证但是对于多个深度模型集成而成的集成模型...

本次分享和总结自己所读的论文BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding，也就是大名鼎鼎的BERT，网上对这篇论文的解读非常多，在此就提下自己浅薄的见解。论文链接 BERT论文动机以及创新点语言模型的预训练已经在自然语言处理的各项任务上取得了有目共睹的效果。目前有两种途...

本次要总结和分享的论文是GPT2，参考的实现代码model。本论文方法是在openAI-GPT的基础上进行了一些微小的修改得到的，从模型的角度来讲，几乎没有修改，只是去掉了fine-tune过程，无论是在预训练和预测阶段都是完全的无监督，这点有点不可思议，但是的确做到了，而且效果还不错。网上对这篇论文的讲解非常多，这里本人就讲下自己浅薄的见解。本篇论文的核心思想并不难，但是我个人感觉论文读起来比...

本次分享的是一篇16年的关于NLP中分词操作的论文，论文链接Subword，参考的实现代码subword-nmt，许多论文方法（例如BERT等）都将该方法应用到分词处理上，相对于word-level和character-level，该方法取得了不错的效果。动机和创新点机器翻译中，通常使用固定大小的词表，而在实际翻译场景中，应当是open-vocabulary。这就使得翻译数据集中的稀有词变得...

因为业务需求，私下学习了些序列数据的处理算法，本文将总结ICLR2018论文：DEEP TEMPORAL CLUSTERING: FULLY UNSUPERVISED LEARNING OF TIME-DOMAIN FEATURES，论文链接DTC，参考的论文代码 DeepTemporalClustering，本论文方法是完全针对时序数据的无监督聚类算法，是第一次提出在无标签的时序数据上，建立了一...

本文将总结分享ICLR2018论文 Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection，论文链接 DAGMM，参考的代码链接 CODE，本论文旨在将神经网络、EM与GMM有机结合起来，做无监督的异常检测，并且取得了不错的效果。论文动机和创新点异常检测的本质是通过密度估计找出离群点过程。...

本次要分享的论文是14年论文DeepWalk: Online learning of Social Representations， 论文链接DeepWalk，参考的代码CODE，本论文是图表示学习领域内的一篇较早的文章，是学习本图表示学习绕不过的一篇文章，虽然整体难度不大，但是文章所提出的方法个人感觉非常独到和有趣。论文动机和创新点在自然语言处理领域，word2vec是一个非常基础和著名...

本周开始，我将一周分享和总结三篇关于自然语言处理方面的论文及其开源代码（如果有的话），以期在三个月后的校招面试中能招架住面试官的各种提问。本篇论文中了CVPR2018CVPR\ 2018，提出了一种新型的 RNNRNN 模型，论文实验显示相对于传统的RNNRNN以及LSTMLSTM、GRUGRU，它在更长步长的数据集上有更好的表现，克服了传统 RNNRNN 的一些缺点，具体总结分析请看下面。传统