深度学习
文章平均质量分 89
guoyuhaoaaa
这个作者很懒,什么都没留下…
展开
-
推荐搜索系统中关于多场景学习的常见方法
最近公司准备在做“one model to serve all”相关的探索 (毕竟行情不好了,大家都在为降本增效做好准备。做完了模型层面的合并事宜之后,接下来要发生的事情大家懂的都懂)。这两天看了一些业界做的比较好的方法,正好周末总结一下。今天的讲解方式并不是说将以上材料中的内容按照顺序从前到后完整的论述下来。而是按照一种建模框架的思路,将各个部分的内容融合进来。原创 2022-10-24 10:41:48 · 2093 阅读 · 2 评论 -
从用户长序列行为中有效抽取信息的常见方法
今天的博客主要参考了以下资料:1 2019年SIGIR会议的《Lifelong Sequential Modeling with Personalized Memorization for User Response Prediction》2 2018年WSDM会议的《Sequential Recommendation with User Memory Networks》3 2020年SIGIR会议的《User Behavior Retrieval for Click-Through Rate Pre原创 2022-03-31 16:49:34 · 2163 阅读 · 3 评论 -
搜索搜索系统中常见的Debais方法与策略
最近由于刚刚入职了新公司,已经很久没有更新博客了。从今天开始,要开始慢慢总结工作与学习了。今天的博客主要参考了2019年华为诺亚方舟实验室在ResSys会议的paper《PAL:APositionbiasAwareLearningFrameworkforCTRPredictioninLiveRecommenderSystems》,微软发表的paper《Modeling and Simultaneously Removing Bias via Adversarial Neural Networks》以及美团N原创 2021-08-03 14:28:30 · 759 阅读 · 0 评论 -
基于边缘计算框架的端上推荐模型
今天的博客主要参考了2020年CIKM会议的paper《EdgeRec: Recommender System on Edge in Mobile Taobao》。这篇paper提出的在手机淘宝客户端上部署的边缘计算推荐模型应该是边缘计算在推荐领域落地应用的开山之作。首先,我来解释一下我理解的“边缘计算”这个概念在淘宝推荐领域应用的意思。所谓“边缘计算”其实是随着手机移动端的计算能力、存储能力越来越强,相较于传统的CS(client,server)模式中client端只负责用户行为特征数据采集,其被赋予了原创 2021-03-12 15:51:31 · 1208 阅读 · 2 评论 -
基于GNN网络的session推荐模型(知识图谱技术在推荐场景的应用)
今天的博客主要参考了2019年AAAI的论文《Session-based Recommendation with Graph Neural Networks》和2020年SIGIR的论文《Global Context Enhanced Graph Neural Networks for Session-based Recommendation》。主要讲解了如何利用当下最火的GNN模型辅助Session-based 下的行为序列建模。所谓Session-based 场景下的推荐模型建模,其实就是利用用户在t原创 2020-12-27 18:26:00 · 1050 阅读 · 0 评论 -
利用深度学习网络显示挖掘高阶特征交互的CTR模型
今天的论文主要参考了华为诺亚方舟实验室这两年的3篇paper,分别是2019年WWW会议上的《Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction》,2020年KDD会议上的《AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction》和20原创 2020-09-30 19:44:29 · 2203 阅读 · 0 评论 -
一种基于超长用户点击序列的CTR预估模型(算法和工程架构的 co-design)
今天的论文参考了2019年KDD的paper《Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction》,这也是阿里妈妈盖坤组最新的在定向广告方向的研究实践成果,即在进行CTR预估的时候考虑了用户更长时间的行为序列信息。首先从整体来讲,我觉得这篇paper是有一定划时代的意义的,和之前...原创 2020-06-22 11:31:15 · 2033 阅读 · 0 评论 -
深度学习在工业界的应用案例(二)
今天的博客主要参考了4篇paper,分别为阿里妈妈定向广告推荐团队的《Deep Session Interest Network for Click-Through Rate Prediction》和《Deep Match to Rank Model for Personalized Click-Through Rate Prediction》,蚂蚁金服风控团队的《A Semi-supervised Graph Attentive Network for Financial Fraud Detection》原创 2020-06-02 20:56:45 · 1756 阅读 · 0 评论 -
基于稀疏特征场景的embedding策略和基于非平衡数据的DICE损失函数
今天的博客主要参考了阿里妈妈定向广告团队的论文《Res-embedding for Deep Learning Based Click-Through Rate Prediction Modeling》和香侬科技李纪为团队的论文《Dice Loss for Data-imbalanced NLP Tasks》。首先声明的是,这两篇paper在内容上并没有直接的关系,但是最近是我看的论文里比较有启发意义的,所以索性就在一篇博客里一起总结一下。首先介绍《Res-embedding for Deep Learn原创 2020-05-26 11:33:11 · 1021 阅读 · 0 评论 -
在线沙龙分享深度学习落地案例整理系列(一)
从本篇博客开始,我准备把最近看的一些深度学习在工业界的落地案例进行一个总结,素材的主要来源是DataFun社区举办的一些在线沙龙技术分享。话不多说,直入主题。这一次的分享主要是来自58同城的算法工程师在招聘推荐环节使用的深度召回模型。其实招聘推荐和广告推荐在流程上是相似的,都是从"海选 => 召回(粗排)=> 排序(精排)"。这次分享的主要亮点就是在召回阶段引入了深度学习模型。首先...原创 2020-04-15 14:37:43 · 636 阅读 · 0 评论 -
GNN(图神经网络)在反欺诈领域的落地
今天的博客主要参考了《Heterogeneous Graph Neural Networks for Malicious Account Detection》和《GeniePath: Graph Neural Networks with Adaptive Receptive Paths》,都来自阿里的蚂蚁金服团队,都使用了当下最流行的Graph Neural Network的相关知识。其实有关G...原创 2020-03-17 17:47:24 · 5044 阅读 · 1 评论 -
一种基于非线性的网络节点Embedding生成策略
今天的博客主要参考了2016年KDD会议上的paper《Structural Deep Network Embedding》,主要将了一种基于非线性空间中的网络节点的Embedding生成策略。需要注意的是这篇paper和2016年之前很多网络节点Embedding策略相比,有2大创新的地方:1 节点的非线性映射表征。最大的不同点就是“非线性”这三个字,像之前的Deepwalk,Line等算法...原创 2019-11-08 09:20:39 · 351 阅读 · 0 评论 -
深度学习在工业界的应用案例(一)
最近忙里偷闲,看了两篇深度学习在工业界落地的paper,这里总结一下,方便以后的复习和回顾。主要参考了2019年facebook的paper《Deep Learning Recommendation Model for Personalization and Recommendation Systems》和2019年第四范式在KDD上发表的paper《AutoCross: Automatic Fe...原创 2019-11-01 11:05:03 · 7127 阅读 · 2 评论 -
关于teacher-student(知识蒸馏)的一些思考与总结
最近看了两篇有关teacher-student架构的paper,感觉收获挺大的,今天就来总结一下。这个teacher-student模式架构主要的目的就是用来进行模型的压缩,属于model compression领域中的一种比较流行的做法。因为深度学习下为了能够获得更好的准确率,训练出的网络往往结构比价复杂,而对于一些在线预测任务来说,复杂的模型结构不利于线上预测任务的快速响应需求。故在该模型框架...原创 2018-08-05 18:35:38 · 32988 阅读 · 0 评论 -
YoutuBe 推荐系统
这篇博客参考了2016年Youtube发表的paper《Deep Neural Networks for YouTube Recommendations》,主要讲述了Youtube如何根据用户历史行为观看记录而在线上使用的给用户推荐视频的系统结构,虽然论文有点老,但是里面很多东西还是很有启发意义的。下面是整个系统的架构图:整体来看整个系统像一个漏斗,和其他的推荐系统一样由两个主要部分组成:c...原创 2018-12-10 13:59:12 · 4585 阅读 · 0 评论 -
Bert-一种基于深度双向Transform的语言模型预训练策略
今天的博客主要参考了论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。这篇paper是Google公司下几个研究员发表的,而且在NLP领域引起了很大的轰动(在多个NLP任务集上都打破了之前最好的记录)。其实,这个Bert利用了迁移学习的思想,把针对语言模型任务设计出的网络参数进...原创 2018-12-02 21:19:31 · 4149 阅读 · 0 评论 -
几种推荐搜索场景下的用户Embedding策略
所谓Embedding策略,就是用一个向量来描述一个实体的思想,这种思想用向量来描述实体信息,不仅仅包含了实体本身的属性信息,同时还包含了实体之间的关联信息,以及实体和最终目标任务之间的关联信息。这种方法最早其实是运用在NLP领域—词向量就是很好的例子,但是随着深度学习在其他各个领域(尤其是搜索/推荐/广告)的应用,衍生出了各种各样的变种,目前成为了深度学习应用到各个领域之中的标准方法。下面就来...原创 2018-11-26 14:03:13 · 14755 阅读 · 2 评论 -
深度兴趣演化网络— 阿里妈妈精准定向广告组
今天讲的博客参考了2019年的AAAI的一篇paper《Deep Interest Evolution Network for Click-Through Rate Prediction》,这又是阿里妈妈盖坤组新的一篇paper,同时也是之前公布的深度置信网络《Deep Interest Network》的进阶版。整体来说这篇paper最大的亮点还是体现在对于用户历史行为序列的建模上,之前的深度...原创 2018-11-11 23:05:23 · 1650 阅读 · 0 评论 -
一种强化学习在NLP文本分类上的应用模型
在胳膊骨折修养的这段期间,系统的学习了一下强化学习相关的知识。正好今天看到了黄民烈老师团队2018年在AAAI上发表的paper《Learning Structured Representation for Text Classification via Reinforcement Learning》。这篇paper以文本分类作为主要的任务,运用强化学习提出了两个模型:ID-LSTM和HS-LS...原创 2018-10-08 14:14:26 · 5085 阅读 · 0 评论 -
一种基于CNN的自动化提取n-gram feanture的文本分类模型
今天写的博客主要参考了清华大学黄民烈老师团队2018年在IJCAI上发表的paper《Densely Connected CNN with Multi-scale Feature Attention for Text Classification》。 这篇paper其实就是使用基于CNN的网络来进行文本的情感分类,但是它针对的问题是传统的多层次的CNN网络使用static窗口来进行卷积,每次针对...原创 2018-08-19 22:10:39 · 3599 阅读 · 0 评论 -
引入情感信息的chatbot
今天讲的内容主要参考了清华大学黄民烈老师团队在2018年在AAAI会议上发表的paper《Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memo》。这篇paper针对的场景是聊天机器人,使用的基本模型也是encoder-decoder架构。但是不同的是在聊天机器人...原创 2018-08-19 20:59:37 · 726 阅读 · 0 评论 -
利用用户搜索词生成商品标题信息——阿里巴巴IDST
今天介绍的论文是阿里IDST在2018年AAAI上发表的paper《A Multi-task Learning Approach for Improving Product Title Compression with User Search Log Data》。 其应用背景是,现在越来越多的用户开始习惯于使用手机、PAD等移动端进行网购行为,而这些移动端产品相比于传统的PC端来讲,其屏幕尺寸更...原创 2018-08-05 22:35:40 · 2540 阅读 · 0 评论 -
Glyce 一种针对中文汉字结构信息抽取的Embedding策略
这篇博客主要参考了香侬科技公司李纪为大神团队的paper《Glyce: Glyph-vectors for Chinese Character Representations》,其主要面对的是中文(类象形文字)从构字法的角度来对中文的汉字进行分析。之前看过的包括自己研究的从构字法角度研究中文的主要参考的是五笔拼音输入法,一个汉字会被拆分成一个部首序列,这种方法由于汉字复杂性和现代汉字的简洁性,使提...原创 2019-02-05 22:37:18 · 2366 阅读 · 1 评论 -
阿里系——盒马鲜生的Embedding策略
今天的博客主要参考了2018年KDD会议的一篇paper《Learning and Transferring IDs Representation in E-commerce》。主要讲了盒马鲜生Embedding的生成策略,因为盒马鲜生是一个比较新的平台,所以新用户和新商品的冷启动问题会比较突出,同时又由于盒马生鲜主打的是卖当季的生鲜,故新商品冷启动问题会持续存在。从整体来看,作者指出生成的商品...原创 2019-03-15 21:37:53 · 3788 阅读 · 0 评论 -
一种强化学习在新闻推荐领域的应用
今天写的博客主要参考了2018年WWW会议上的论文《DRN: A Deep Reinforcement Learning Framework for News Recommendation》,主要讲解了在新闻推荐领域如何使用深度强化学习的方法。从整个发展趋势来看,强化学习最近无论是在学术界还是工业界都越来越火了,而由于强化学习框架中包含的实体概念比较多(Agent,State,Action,Rew...原创 2019-04-07 19:00:33 · 2053 阅读 · 0 评论 -
Sentiment Classification with User and Product information
这两天又看了2篇和文本情感分类相关的论文,使用的基础模型还是深度学习中在情感分析中比较常见的CNN和RNN架构。但是不同的是,这些算法模型在做情感分类的时候凭借的依据不仅仅是单条的文本信息,还考虑了发这条文本的用户特征以及所评论的物品特征。从理论上讲,这是一种引入了额外的信息去帮助情感分析的手段,貌似这是一个比较靠谱的方向。下面就分别的来介绍一下这些模型策略。首先参考的论文是《Learning Se原创 2017-02-14 11:56:06 · 947 阅读 · 2 评论 -
一种深度挖掘特征之间交互的神经网络模型
今天的博客主要参考了2019年KDD会议上的paper《Pairwise Multi-Layer Nets for Learning Distributed Representation of Multi-field Categorical Data》。这篇paper主要针对输入源数据为多个领域的类别特征(且每个领域的特征都有多种取值),设计了一种巧妙的提取特征之间交互信息的结构,并在正式训练任务...原创 2019-08-29 21:25:26 · 2262 阅读 · 0 评论 -
Airbnb深度学习在搜索领域的探索总结
今天的博客主要参考了Airbnb发表的paper《Applying Deep Learning To Airbnb Search》。这篇paper介绍了近2年Airbnb在搜索场景下所使用模型的演进路线,以及一些失败的总结和经验的总结,最难能可贵的是作者对每一次尝试的失败和调参都给出了详细的分析说明,感觉给我们这些做模型的人做了个很好的样例(要清晰的知道自己的模型好为什么好,不好为什么不好)。首...原创 2019-08-07 20:11:03 · 544 阅读 · 0 评论 -
LambdaFM:一种在深度学习模型架构融合pairwise的策略
今天的博客主要参考了2016年的会议CIKM的paper《LambdaFM: Learning Optimal Ranking with Factorization Machines Using Lambda Surrogates》。首先我想说一点常识知识,即本博客讲的内容涉及到了Learning to Rank领域的相关知识,其中Learning to Rank是一类算法框架包含了:Point...原创 2019-08-04 19:33:26 · 3235 阅读 · 0 评论 -
一种基于知识图谱的新闻推荐模型
本篇博客参考了2018年WWW会议的paper《DKN: Deep Knowledge-Aware Network for News Recommendation》,即一种引入知识图谱的新闻推荐模型。其实和一般的推荐系统一样,结合目标用户过去一段时期内浏览过的新闻纪录信息,预测该用户是否对某一新闻感兴趣(和阿里淘宝系的商品推荐十分相似)。首先作者列举了该类问题的3个难点:1 新闻推荐是一个时效...原创 2019-06-30 18:32:54 · 4217 阅读 · 0 评论 -
一种挖掘任务之间关系的multi-task模型
今天的博客主要参考了2018年KDD会议上的paper《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》,提出了一种针对multi-task的通用处理架构。话不多说,直接上图:图中有a,b,c三种网络结构,其中网络a就是传统的multi-task结构,即两个不同的任务共...原创 2019-06-30 17:31:48 · 978 阅读 · 0 评论 -
一种能自动抽取特征与特征interaction重要性的CTR模型
今天的博客主要参考了2019年推荐系统顶会RecSys的paper《FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction》。该篇paper最大的创新点就是提出了一种自动提取特征重要性的结构SENET Layer 和提取特征之间交互重要性的结构B...原创 2019-07-13 22:08:18 · 1519 阅读 · 0 评论 -
一种根据用户点击行为生成同一语义空间中query和document向量的方法
本篇博客主要参考了2016年SIGIR会议上的paper《Learning Query and Document Relevance from a Web-scale Click Graph》。首先说明的是这篇paper提出的模型主要是应用在搜索领域,即根据用户的query和其点击的document日志信息,学习query和document的向量在同一语义空间中的表征方式,将这些向量的表征方式使用...原创 2019-06-07 12:53:12 · 894 阅读 · 0 评论 -
一种自动提取有效组合特征的网络结构(推荐系统)
今天的博客主要参考了2019 WWW会议的paper《Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction》,主要讲了在推荐领域一种利用卷积结构来进行自动特征提取的模型结构,并证明自动提取的特征能够显著提升模型的性能。众所周知,目前各个公司在推荐领域使用的都是以神经网络为基础的深度...原创 2019-06-06 18:57:04 · 3171 阅读 · 0 评论 -
基于用户历史行为数据的广告推荐模型
今天我们来讲解三篇利用用户历史行为数据建模的广告推荐模型,相比于传统的广告推荐模型,他针对用户历史行为进行了更好的建模,部分模型甚至仔细考虑了用户行为之间的时间间隔信息。第一篇主要参考了IJCAI 2018年的paper《A Brand-level Ranking System with the Customized Attention-GRU Model》。首先来说这个广告预测推荐的场景比较...原创 2018-07-23 16:41:42 · 8034 阅读 · 4 评论 -
迁移学习应用(二)
今天我们继续来介绍和梳理一些和迁移学习相关的内容,先来介绍几个在一个台湾大学ML课程学到的几个模型。 第一个模型的任务描述下: sourcesourcesource data=(xs,ys)data=(xs,ys)data =(x^s,y^s) targettargettarget data=(xt)data=(xt)data = (x^t) task(source)=task(targe...原创 2018-06-28 16:40:23 · 1612 阅读 · 0 评论 -
Neural Machine Translation(NMT)技术概述
在神经网络语言模型处理NLP领域,我做的研究一直都和文本分类相关,其实还有很多其他的应用领域,比方说:语言翻译、词性标注、命名实体识别等。感觉还是有必要了解一下如何用神经网络语言模型对这些应用进行建模的。因此,这几天看了几篇有关Neural Machine Translation(NMT)的论文,对这个领域基本有了比较全面、正确的认识。在这个过程中,正好学习了业界最流行的attention思想,下面原创 2017-02-11 16:30:48 · 7851 阅读 · 0 评论 -
融入了外部Linguistically信息的情感分析模型
最近看了几篇nlp相关的顶会论文,又发现了一条提高文本分类精度的新思路,即增加外部的信息,就是这么简单的一句话,就蕴含了很丰富的道理,下面我来娓娓道来。常规的处理自然语言的方法(无论是统计语言模型方法还是神经网络语言方法)所分析的对象都是一句话或者一篇文档,也就是说我们得到的关于某句话的所有信息只能全部来自于这句话的文本内容(传统的论文创新无非就是在处理这些文本的方式上进行改变,包括各种CNN和LS原创 2017-02-20 16:57:59 · 1371 阅读 · 0 评论 -
使用knowledge-based方法提升词向量的生成质量
最近看了清华大学刘知远老师团队在2017年顶会ACL上发表的最新成果《Improved Word Representation Learning with Sememes》。之所以题目叫做knowledge-based的方法来提升词向量的生成质量,是因为在这篇论文中利用了Hownet词典所关于现实世界中所有实体之间的关系信息,下面首先来介绍一下Hownet词典。Hownet 在《Hownet》有三原创 2017-10-02 11:54:05 · 2554 阅读 · 7 评论 -
多种模型融合策略
这篇博文主要参考了2017 年的WWW的paper《Model Ensemble for Click Prediction in Bing Search Ads》。虽然这里的model ensemble用到的场景是点击预测,但是其中的思想可以用在任意的使用机器学习的场景。首先要说的是,这篇文章里介绍的模型融合策略是基于GBDT(XGBOOST)、DNN和LR这三种基本的分类器。(其实在实战中用的最多原创 2017-08-30 11:51:56 · 16552 阅读 · 3 评论