![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 90
guoyuhaoaaa
这个作者很懒,什么都没留下…
展开
-
从用户长序列行为中有效抽取信息的常见方法
今天的博客主要参考了以下资料:1 2019年SIGIR会议的《Lifelong Sequential Modeling with Personalized Memorization for User Response Prediction》2 2018年WSDM会议的《Sequential Recommendation with User Memory Networks》3 2020年SIGIR会议的《User Behavior Retrieval for Click-Through Rate Pre原创 2022-03-31 16:49:34 · 2105 阅读 · 3 评论 -
搜索搜索系统中常见的Debais方法与策略
最近由于刚刚入职了新公司,已经很久没有更新博客了。从今天开始,要开始慢慢总结工作与学习了。今天的博客主要参考了2019年华为诺亚方舟实验室在ResSys会议的paper《PAL:APositionbiasAwareLearningFrameworkforCTRPredictioninLiveRecommenderSystems》,微软发表的paper《Modeling and Simultaneously Removing Bias via Adversarial Neural Networks》以及美团N原创 2021-08-03 14:28:30 · 697 阅读 · 0 评论 -
基于稀疏特征场景的embedding策略和基于非平衡数据的DICE损失函数
今天的博客主要参考了阿里妈妈定向广告团队的论文《Res-embedding for Deep Learning Based Click-Through Rate Prediction Modeling》和香侬科技李纪为团队的论文《Dice Loss for Data-imbalanced NLP Tasks》。首先声明的是,这两篇paper在内容上并没有直接的关系,但是最近是我看的论文里比较有启发意义的,所以索性就在一篇博客里一起总结一下。首先介绍《Res-embedding for Deep Learn原创 2020-05-26 11:33:11 · 977 阅读 · 0 评论 -
一种基于时间滑动窗口的黑产团伙挖掘算法
今天的博客主要参考了2014年facebook在会议SIGSAC上发表的paper《Uncovering Large Groups of Active Malicious Accounts in Online Social Networks》。主要讲解了facebook应用机器学习方法在OSN(online social network)反团伙欺诈方面的解决方案。由于有部分读者对于facebook...原创 2019-11-16 16:49:44 · 1775 阅读 · 0 评论 -
一种基于非线性的网络节点Embedding生成策略
今天的博客主要参考了2016年KDD会议上的paper《Structural Deep Network Embedding》,主要将了一种基于非线性空间中的网络节点的Embedding生成策略。需要注意的是这篇paper和2016年之前很多网络节点Embedding策略相比,有2大创新的地方:1 节点的非线性映射表征。最大的不同点就是“非线性”这三个字,像之前的Deepwalk,Line等算法...原创 2019-11-08 09:20:39 · 339 阅读 · 0 评论 -
方差与无偏估计
今天的博客其实是对一个一直疑惑的数学知识点的讲解,毕竟机器学习还是运用到了大量的数学知识,所以把一些涉及到的数学概念搞清楚还是十分必要的。方差其实这个概念相信大家都知道,就是D(x)=1n∑i=1n(xi−E(xi))2D(x)=\frac{1}{n}\sum_{i=1}^n(x_i-E(x_i))^2D(x)=n1∑i=1n(xi−E(xi))2,其实就是每个样本值和均值均方差的平均值...原创 2019-08-01 10:57:56 · 10014 阅读 · 3 评论 -
一种基于知识图谱的新闻推荐模型
本篇博客参考了2018年WWW会议的paper《DKN: Deep Knowledge-Aware Network for News Recommendation》,即一种引入知识图谱的新闻推荐模型。其实和一般的推荐系统一样,结合目标用户过去一段时期内浏览过的新闻纪录信息,预测该用户是否对某一新闻感兴趣(和阿里淘宝系的商品推荐十分相似)。首先作者列举了该类问题的3个难点:1 新闻推荐是一个时效...原创 2019-06-30 18:32:54 · 4187 阅读 · 0 评论 -
一种挖掘任务之间关系的multi-task模型
今天的博客主要参考了2018年KDD会议上的paper《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》,提出了一种针对multi-task的通用处理架构。话不多说,直接上图:图中有a,b,c三种网络结构,其中网络a就是传统的multi-task结构,即两个不同的任务共...原创 2019-06-30 17:31:48 · 968 阅读 · 0 评论 -
一种自动提取有效组合特征的网络结构(推荐系统)
今天的博客主要参考了2019 WWW会议的paper《Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction》,主要讲了在推荐领域一种利用卷积结构来进行自动特征提取的模型结构,并证明自动提取的特征能够显著提升模型的性能。众所周知,目前各个公司在推荐领域使用的都是以神经网络为基础的深度...原创 2019-06-06 18:57:04 · 3141 阅读 · 0 评论 -
Glyce 一种针对中文汉字结构信息抽取的Embedding策略
这篇博客主要参考了香侬科技公司李纪为大神团队的paper《Glyce: Glyph-vectors for Chinese Character Representations》,其主要面对的是中文(类象形文字)从构字法的角度来对中文的汉字进行分析。之前看过的包括自己研究的从构字法角度研究中文的主要参考的是五笔拼音输入法,一个汉字会被拆分成一个部首序列,这种方法由于汉字复杂性和现代汉字的简洁性,使提...原创 2019-02-05 22:37:18 · 2323 阅读 · 1 评论 -
一种强化学习在NLP文本分类上的应用模型
在胳膊骨折修养的这段期间,系统的学习了一下强化学习相关的知识。正好今天看到了黄民烈老师团队2018年在AAAI上发表的paper《Learning Structured Representation for Text Classification via Reinforcement Learning》。这篇paper以文本分类作为主要的任务,运用强化学习提出了两个模型:ID-LSTM和HS-LS...原创 2018-10-08 14:14:26 · 5028 阅读 · 0 评论 -
基于无监督的垃圾邮件botnet挖掘算法
这篇博客主要参考了2009年的NSDI(计算机网络方向)会议上的paper《BotGraph: Large Scale Spamming Botnet Detection》,作者是Datavisor公司的CEO和CTO。(Datavisor公司是一家安全领域的公司,主要业务是反洗钱和反欺诈,一般运用在互联网金融和信贷场景之中。不同于其他家的公司,这家公司在欺诈用户识别的时候大量的使用了无监督的学习...原创 2018-07-12 14:30:36 · 2006 阅读 · 0 评论 -
一种包含了情感信息的词向量生成方法
今天我要讲的论文主要参考了一篇2011年的ACL会议论文《Learning Word Vectors for Sentiment Analysis》,这篇文章的作者有Andrew Y. Ng,因此整个文章的质量还是有保证的。我刚看到这篇论文的时候,就感到有点奇怪,因为目前业界用的最广泛的word2vec算法是2013年才提出来的,而这篇paper发表的时间是2011年,当仔细读了这篇paper之后...原创 2018-05-31 13:41:45 · 3013 阅读 · 0 评论 -
一种处理高维categorical特征的处理方法-TBS (Target based statistic)
首先要说的是这篇paper主要参考了2001年SIGKDD的论文《A Preprocessing Scheme for High-Cardinality Categorical Attributes in Classification and Prediction Problems》。确实,从时间上来看这篇paper已经属于一篇比较老的paper了,我之所以能翻到这么老的paper是因为在2017...原创 2018-05-30 14:55:10 · 2406 阅读 · 3 评论 -
几种基于神经网络的CTR预估模型
最近研究了几篇这两年在顶会上发表的使用神经网络模型进行CTR预估的策略(也可以看做是目前工业界正在使用的主流方法),正好在这里总结一下。所谓CTR预估,就是点击转化率的预估即click through rate,一般用在推荐广告系统中。简单来说,就是当用户浏览网页或者使用APP的时候,在用户浏览的context中插入一些广告(比方说一些APP的安装链接、一些商品的销售信息),如果用户在浏览的过程中点原创 2018-03-21 20:32:58 · 4777 阅读 · 0 评论 -
阿里妈妈精准定向检索及基础算法团队CTR预估最新成果(匹配+排序)
这两天读了两篇阿里妈妈盖坤团队有关电商场景下的CTR预估最新成果,感觉写的挺好具有一定的启发意义(毕竟阿里集团拥有海量的一线用户行为数据,这个是其他所有公司都无法比拟的),今天就来梳理一下。首先,既然我们今天讲的是电商场景下的推荐系统,那么我就来大概梳理一下当一个用户访问淘宝的网站时,整个电商系统都发生了什么:1 根据访问用户id从后台数据库调出其在最近一段时间内(一般2周)的所有淘宝网访问购买点...原创 2018-03-31 10:33:21 · 2816 阅读 · 0 评论 -
Factorization Machines——因式分解机
早就想总结一下这篇2010年的论文《Factorization Machines》,与其说这篇论文提出了一种新的模型不如说这篇论文提出了一种新的建模思想,适用于所有形式类似于Y=T(W1∗X+Wij∗Xi∗Xj+Wijk∗Xi∗Xj∗XK+....)Y=T(W1∗X+Wij∗Xi∗Xj+Wijk∗Xi∗Xj∗XK+....)Y=T(W_1*X+W_{ij}*X_i*X_j+W_{ijk}*X_i*...原创 2018-03-08 21:49:57 · 2262 阅读 · 0 评论 -
sentence pair model 总结
这篇博客主要参考了来自nips的《Convolutional Neural Network Architectures for Matching Natural Language Sentences》这篇论文(李航老师)。 match language model 解决的是两句话的match问题。这个问题有很广泛的应用场景,比方说自动问答系统、句子翻译等。(个人感觉在真正使用的时候,该模型起到了一原创 2016-11-11 15:31:08 · 4561 阅读 · 1 评论 -
最大似然与正太分布
这两个词语都是概率论中见的词语,乍一看没有什么联系。最近看了斯坦福的机器学习课程,其中有对于回归问题的均方误差函数的由来进行的仔细论述,我认为十分有意思,就写了博客来记录一下。最大似然:简单来说,就是不断调整模型的参数,使已知发生的事件的概率是最大的。正态分布密度函数: 12πσ√exp−((x−μ)22σ2)\frac{1}{\sqrt{2\pi\sigma}}exp{-(\frac{(x-\mu原创 2016-11-07 17:28:51 · 1852 阅读 · 0 评论