论文笔记
文章平均质量分 72
我爱写报告
这个作者很懒,什么都没留下…
展开
-
Semi-Supervised Classification with Graph Convolutional Networks
解决的问题我们提出了一个稳定的方法来半监督地学习图结构的数据,这种方法基于一种卷积网络的变体,是将卷积网络直接作用在图上。我们是基于对一种谱图卷积的一阶近似选择的这种卷积结构。我们的模型能够学到既可以编码局部的图结构也可以编码节点特征的隐藏层表示。在引文网络和知识图谱数据集上进行的一系列实验表明,我们的方法跟类似方法相比有显著的提升。问题形式化本文考虑的是对图上的节点进行分类,而图中只有一小部分节点有标签。这类问题可以被形式化为基于图的半监督学习,其中标签信息通过一些显式的基于图的正则来进行平滑,例如翻译 2022-05-20 19:44:14 · 442 阅读 · 0 评论 -
Personalized Approximate Pareto-Efficient Recommendation
真实推荐系统中通常会有不同的学习目标和评估标准,例如准确度、多样性或新颖度。因此多目标推荐正在被广泛使用和探索。最近帕累托最优模型被应用到了多目标推荐系统中,然而现有方法全部都是对所有样本共享一套目标权重。为了抓住用户在目标级别的偏好,并在帕累托最优系统中加入个性化,我们提出了PAPERec框架,设计了一个基于KKT条件标量化的近似帕累托最优学习,其中每个用户对每个目标有个性化的权重。我们还提出了一个面向帕累托的强化学习模块来为每个用户寻找合适的个性化目标权重,以所有目标梯度的加权和为奖励。我们在实际推荐系翻译 2022-04-28 18:09:46 · 239 阅读 · 0 评论 -
Deep Session Interest Network for Click-Through Rate Prediction
解决的问题CTR预估在广告和推荐系统中都扮演者重要角色。在CTR预估中,如何从用户的行为序列中抽取出动态变化的用户兴趣是一大课题。然而现有的方法都忽视了用户行为序列的一大特性:用户行为序列是由多个session组成的,而每个session由行为的时间进行划分。我们发现用户在同一session内的行为是高度同质化的,而不同session间的行为是异质的。基于上述观察我们提出了Deep Session Interest Network (DSIN) 模型来利用用户行为序列的多个session。我们首先从每个s翻译 2022-04-26 18:03:15 · 328 阅读 · 0 评论 -
self-supervised learning for large-scale item recommendations
解决的问题长尾item的用户反馈数据稀疏是推荐系统中长期存在的一个问题。近期受到CV和NLP领域在自监督学习任务上进展的启发,我们提出了一个针对大规模item推荐的自监督学习(SSL)框架。框架主要通过更好地学习item特征之间的潜在联系来解决label稀疏的问题。特别地,SSL既优化了item表征,又优化了线上服务,从而提升了模型的泛化能力。除此之外,我们还在框架中提出一种新颖的利用特征交互来进行数据增强的方法。我们通过两个真实的数据集和一个线上真实的app-to-app推荐场景来评估我们的模型,实验结翻译 2021-11-01 14:00:41 · 1989 阅读 · 3 评论 -
Contrastive Learning for Debiased Candidate Generation in Large-Scale Recommender Systems
解决的问题解决推荐系统中的召回问题,标准的方法就是通过采样进行极大似然估计。然而真实的推荐系统通常存在严重的曝光偏差,而极大似然估计从长期来讲会加重曝光偏差,而不合适的采样和特征选取会使得item表示学习效果打折扣。本文提出了CLRec,一种对比学习范式,来解决召回阶段的曝光偏差。问题形式化推荐系统的召回阶段范式为学习一个用户行为encoder fθ(x)∈Rdf_\theta(x) \in R^dfθ(x)∈Rd和一个item encoder gθ(y)∈Rdg_\theta(y) \in R^d翻译 2021-08-27 01:04:26 · 955 阅读 · 0 评论 -
Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Pr
解决的问题基于记忆网络的MIMN通过对算法和服务架构的共同设计成为了state-of-the-art方法。MIMN是工业界第一个能够为超过1000条用户行为建模的方法,然而在用户行为更多的情况下MIMN便不能精确把握用户兴趣了。本文提出了一种新的范式Search-based Interest Model (SIM),SIM通过两个级联的搜索单元来抽取用户兴趣:General Search Unit (GSU)从原始的任意长度的行为序列中进行搜索,从而抽取出与候选item相关的子序列;Exact Searc翻译 2021-08-18 01:07:20 · 472 阅读 · 0 评论 -
CAN: Revisiting Feature Co-Action for Click-Through Rate Prediction
feature co-action特征间的联合效应。例如一个点击历史中有泳衣的女性用户很有可能会点击推荐给她的泳镜,因为“泳衣”和“泳镜”之间是有联系的。特征co-action可以对于一系列原始特征子图进行建模。如果子图中只有两个特征,那么特征co-action等价于为两个特征ID的边建模。以往研究工作对于feature co-action的建模方法可以分为以下三类:基于聚合的方法研究如何将用户的历史行为序列聚合起来用到ctr预估中。...翻译 2021-06-17 20:26:36 · 949 阅读 · 0 评论 -
Progressive Layered Extraction: A Novel Multi-TaskLearning Model for Personalized Recommendations
解决的问题多任务学习在推荐场景中已经得到了广泛的应用。然而多任务模型常常会受到负迁移的影响而性能变差。为解决这一问题,本文提出了Progressive Layered Extraction (PLE),它将共享组件和每个任务独有的组件分隔开,并引入了一种先进的路由机制来深层的语义抽取分离出来。跷跷板现象在多任务学习中负迁移是很常见的现象,这一现象在相关性不强的任务间尤为显著。对于有着复杂关联性的多任务学习,我们还观察到了跷跷板现象:在全部任务中超越单任务模型是非常困难的。我们将会通过腾讯的视频推荐系统翻译 2021-03-15 20:18:37 · 998 阅读 · 4 评论 -
Recommending What Video to Watch Next: A Multitask Ranking System
本文是一个大型多目标推荐系统的实践。我们尝试了诸如MMoE等许多soft-parameter sharing技术,此外我们还通过wide&deep的方式引入了selection biases。场景我们的应用场景是视频的next watch场景的排序阶段。设计并实现一个真实场景中的大规模实时视频推荐系统会面临如下挑战:我们的优化目标经常是存在冲突的。例如我们不仅想要为用户推荐他们可能观看的视频,还想要推荐他们可能评分很高并进行分享的视频。系统中通常会存在隐式偏见(bias),例如用户会点击并翻译 2021-03-09 20:19:14 · 649 阅读 · 0 评论 -
Modeling Task Relationships in Multi-task Learning withMulti-gate Mixture-of-Experts
背景多目标深度学习系统越来越多被运用在了大规模真实推荐系统中。然而目前常用的多目标模型通常对数据分布和任务间的关系过于敏感。因此在单个任务目标和多个任务的关系之间的tradeoff就变得很重要。本文提出了MMoE,一个能够显式学习到任务间关系的多任务模型。MMoE模型在多个任务间共享expert子模型,并且有一个门控网络来优化每个任务。为在相关程度不同的任务上验证我们的模型,我们首先将它应用在了一个由我们自己控制相关程度的人工数据集上,发现在相关程度不强的任务上它的表现优于baseline模型。然后我们翻译 2021-03-01 02:02:29 · 305 阅读 · 0 评论 -
Deep Interest Network for Click-Through Rate Prediction
解决的问题以往的CTR预估模型遵从一个常规套路:大规模的稀疏的输入特征首先被映射为低维度的embedding向量,然后通过某种方式转换成一组固定长度的向量,拼接在一起,然后喂给全连接层来学习特征间的非线性关系。与普通的逻辑回归模型相比,这种方法能够省去大量的特征工程。然而用户兴趣具有多样性,用一个低维度向量来表示用户可能会变成表达用户兴趣的瓶颈。另一方面,在预测某一特定广告的CTR时,没有必要把用户的全部兴趣压缩在一个向量中,因为用户兴趣中只有一部分能够影响到他对这条广告的行为。基于以上的分析,我们提出翻译 2020-10-27 17:01:39 · 231 阅读 · 0 评论 -
Latent Cross: Making Use of Context in Recurrent Recommender Systems
WSDM’18, Google, Inc.解决的问题本文主要研究了如何有效率地处理推荐系统中的上下文信息(时间、地点、场景…)。首先我们对前馈网络利用上下文信息的传统方法进行了分析,并证明了这种方法在特征交叉方面是低效率的。秉持着这样的观点,我们设计了一个state-of-the-art的RNN推荐系统。...翻译 2020-10-14 00:46:29 · 265 阅读 · 0 评论 -
Multi-Interest Network with Dynamic Routing for Recommendation at Tmall
场景&解决的问题本文提出的方法解决了天猫主页的个性化推荐(占天猫流量的约50%)中的召回部分。在天猫的个性化推荐场景中,无论是召回还是排序阶段,最重要的都是为用户兴趣建模。然而建模用户兴趣存在问题:一个用户可能对多种物品感兴趣。现有的推荐算法采取过多种方法来对用户兴趣建模。基于协同过滤的方法用用户历史行为或隐性因子来表示用户兴趣,这种方法的局限性在于稀疏性和计算困难。深度学习方法通常将用户兴趣表示为一个低维度的embedding,然而这种方法中,embedding的维度可能会成为表达用户各种翻译 2020-09-09 00:08:19 · 1733 阅读 · 0 评论 -
Embedding-based Retrieval in Facebook Search
解决的主要问题搜索中的语义匹配问题——找到那些与qeury文本不精确匹配,却能够满足用户搜索意图的结果EBR—— embedding based retrieval,基于embedding的检索text-user-context embedding主要工作Facebook搜索的基于embedding的检索系统模型:unified embedding——query文本,用户和上下文组成模型的一侧,另一侧由document组成,从搜索日志中获得训练样本,并利用一个recall metric作为翻译 2020-08-02 01:28:22 · 2225 阅读 · 0 评论 -
Deep Neural Networks for YouTube Recommendations
问题YouTube推荐在以下三个方面有极大的挑战性:规模大新的item多噪声 由于稀疏性和一些无法观测的外部因素,YouTube的历史用户行为是十分难以预测的,而与内容相关的元数据也不能定义一个规整的结构。我们的算法需要足够健壮以应对我们训练数据的这些特性。系统架构系统中有两个网络,分别用于召回(candidate generation)和排序。召回网络从用户行为历史中拿到ev...翻译 2020-02-27 19:27:12 · 1456 阅读 · 0 评论 -
Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations
Introduction推荐系统常被视作召回+排序的两阶段系统。本文的重点就在于为一个有百万量级item的个性化推荐构建一个召回系统。给出一个{user, context, item}的三元组,召回模型通常的解决方法是:1)分别学习{user, context}和{item}的表示,2)利用一个简单的打分函数(例如点积)来为query生成候选item。context通常是有动态性质的变量,例如...翻译 2020-02-26 22:23:56 · 4888 阅读 · 0 评论 -
Sequence to Sequence Learning with Neural Networks
Sequence to Sequence Learning with Neural NetworksIlya Sutskever et al. Google. 2014Sequence to sequenceDNN的一个显著问题在于只能应用到输入和输出都能表示为固定维度的向量的问题中。这是一个显著的缺陷,因为很多重要的问题中,输入和输出都需要被描述为预先不知道长度的序列。本文提出了直接用一...翻译 2020-01-27 19:51:51 · 317 阅读 · 0 评论 -
node2vec: Scalable Feature Learning for Networks
问题定义给出一个图G=(V,E)G = (V, E)G=(V,E),令f:V−>Rdf: V -> \Bbb{R}^df:V−>Rd为节点和向量表示(feature representation)间的映射,d为我们向量表示的维度。对图中的每个节点u∈Vu \in Vu∈V,定义Ns(u)N_s(u)Ns(u)为通过采样策略SSS得到的节点u的邻居节点。我们将skip-gra...翻译 2020-01-20 15:40:57 · 281 阅读 · 0 评论 -
DeepWalk: Online Learning of Social Representations
Bryan Perozzi et. al. 2014问题定义考虑对社交网络中每个成员进行分类的问题。令G=(V,E)G=(V, E)G=(V,E),其中V为网络节点,E为边。给出一个不完全标注的社交网络 GL=(V,E,X,Y)G_L = (V, E, X, Y)GL=(V,E,X,Y),其中X∈R∣V∣×SX\in\Bbb R^{|V|\times S}X∈R∣V∣×S,其中S为特征空间大...翻译 2020-01-16 21:57:27 · 497 阅读 · 0 评论 -
Rendezvous: A Search Engine for Binary Code
题目: Rendezvous: A Search Engine for Binary Code作者: Wei Ming Khoo, Alan Mycroft, Ross Anderson单位: University of Cambridge出版: MSR, 2013简介代码重用是软件工程中的常见做法。搜索Github [1]上的短语“基于”,截至2013年2月,共有269,789次匹配。...翻译 2019-03-14 15:45:44 · 385 阅读 · 0 评论 -
Are Deep Neural Networks the Best Choice for Modeling Source Code?
题目: Are Deep Neural Networks the Best Choice for Modeling Source Code?作者: Vincent J. Hellendoorn, Premkumar Devanbu单位: Computer Science Dept, UC Davis出版: FSE/ESEC, 2017解决的问题最近,利用自然语言处理的方法来对软件的自然重...翻译 2019-03-14 15:48:39 · 458 阅读 · 1 评论 -
Convolutional Neural Networks for Sentence Classification
Convolutional Neural Networks for Sentence ClassificationYoon KimNew York University模型结构我们利用一层卷积神经网络和事先训练好的词向量进行句子分类,取得了很好的效果。而通过微调来学习针对特定任务的词向量提高了原有的效果。最后,我们描述了对模型结构的一个简单的改动,使得预训练和特定任务的词向量通过不同通道被...翻译 2019-07-04 20:55:58 · 669 阅读 · 0 评论 -
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingJacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina ToutanovaGoogle AI Language语言模型预训练在很多NLP项目中都被证明有效。比如句子级别的任务如自然语言推理...翻译 2019-07-10 15:15:18 · 700 阅读 · 0 评论 -
Predicting buffer overflow using semi-supervised learning
题目: Predicting buffer overflow using semi-supervised learning 作者: Meng Qingkun, Wen Shameng, Feng Chao, Tang Chaojing 单位: National University of Defense Technology, NUDT 出版: CISP-BMEI, 2016解决的...翻译 2018-07-30 16:04:17 · 487 阅读 · 0 评论 -
Machine-Learning-Guided Selectively Unsound Static Analysis
题目: Machine-Learning-Guided Selectively Unsound Static Analysis 作者: Kihong Heo, Hakjoo Oh, Kwangkeun Yi 单位: Seoul National University 出版: ICSE, 2017解决的问题传统静态分析工具为了提高准确性和稳定性,通常是整体不完备(uniformly翻译 2018-01-19 16:13:30 · 487 阅读 · 2 评论 -
Personalized Defect Prediction
题目: Personalized Defect Prediction作者: Tian Jiang, Lin Tan, Sunghun Kim单位: University of Waterloo, Hong Kong University of Science and Technology出版: ASE, 2013解决的问题:personalized change classificatio...翻译 2019-03-14 15:23:09 · 726 阅读 · 0 评论 -
【整理】博客中的论文笔记汇总
漏洞挖掘Neural Network-based Graph Embedding for Cross-Platform Binary Code Similarity Detection (待补充)固件漏洞挖掘,利用程序控制流图和图嵌入方法Vulnerability Extrapolation: Assisted Discovery of Vulnerabilities using Machi...原创 2019-02-24 00:06:57 · 1687 阅读 · 2 评论 -
Transfer Defect Learning
**题目:**Transfer Defect Learning **作者:**Jaechang Nam, Sinno Jialin Pan, Sunghun Kim **单位:**The Hong Kong University of Science and Technology, Institute of Infocomm Research **发表:**ICSE, 2013解决的...翻译 2018-04-08 09:42:42 · 354 阅读 · 0 评论 -
Generalized Vulnerability Extrapolation using Abstract Syntax Trees
本文利用了软件源码的结构化信息进行漏洞的挖掘,结合了静态分析,鲁棒的分析和机器学习的方法。本文主要包含4个步骤: - 抽象语法树的抽取 - 向向量空间映射 - 结构化样式的识别 - 漏洞推断原理鲁棒的AST抽取我们利用一个基于island grammars的C/C++的鲁棒的分析器来抽取程序的抽象语法树(AST),这一分析器无需验证代码的语法,而是旨在从代码中抽取尽可能多的...翻译 2018-02-12 22:24:33 · 837 阅读 · 8 评论 -
A Fast Learning Algorithm for Deep Belief Nets
题目: A Fast Learning Algorithm for Deep Belief Nets 作者: Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh 单位: University of Toronto, University of Singapore 出版: Neural Computation, 2006Logistic b翻译 2018-01-15 23:30:50 · 10541 阅读 · 1 评论 -
On the Security of Machine Leanring in Malware C&C Detection: A Survey
题目: On the Security of Machine Leanring in Malware C&C Detection: A Survey 作者: Joseph Gardiner, Shishir Nagaraja 单位: Lancaster University 出版: ACM Computer Survey问题:C&C(Command and Control)检翻译 2017-12-14 10:40:08 · 776 阅读 · 0 评论 -
Online Defect Prediction for Imbalanced Data
题目: Online Defect Prediction for Imbalanced Data 作者: Ming Tan, Lin Tan, Sashank Dara, Caleb Mayeux 单位: University of Waterloo, Cisco Systems 出版: ICSE, 2015解决的问题change分类是软件缺陷分类中的一类问题。change分类面临着两个问题:翻译 2018-01-02 20:52:17 · 306 阅读 · 0 评论 -
Software Vulnerability Analysis and Discovery Using Machine-Learning and Data-Mining Techniques
题目: Software Vulnerability Analysis and Discovery Using Machine-Learning and Data-Mining Techniques: A Survey 作者: Seyed Mohammad Ghaffarian, hamid Reza Shahriari 单位: Amirkabir University of Technolog翻译 2017-12-27 11:44:53 · 1179 阅读 · 0 评论 -
Enhanced LSTM for Natural Language Inference
题目: Enhanced LSTM for Natural Language Inference 作者: Qian Chen, Xiaodan Zhu, Zhenhua Ling, Si Wei, Hui Jiang, Diana Inkpen 单位: University of Science and Technology of China, National Research Counci翻译 2017-12-25 22:20:08 · 3037 阅读 · 0 评论 -
Dealing with Noise in Defect Prediction
题目: Dealing with Noise in Defect Prediction 作者: Sunghun Kim, Hongyu Zhang, Rongxin Wu, Liang Gong 单位: Hongkong University of Science and Technology, Tsinghua University 出版: ICSE解决的问题提出了一种方法,用来解决缺陷信息翻译 2017-12-23 17:20:10 · 395 阅读 · 0 评论 -
Automatic Inference of Search Patterns for Taint-Style Vulnerabilities
题目: Automatic Inference of Search Patterns for Taint-Style Vulnerabilities 作者: Fabian Yamaguchi, Alwin Maier, Hugo Fascon, Konrad Rieck 单位: University of Gottingen, Germany 出版: S&P, 2015名词解释:污染型漏洞污染翻译 2017-12-14 10:37:45 · 889 阅读 · 0 评论 -
Building Program Vector Representation for Deep Learning
题目: Building Program Vector Representation for Deep Learning 作者: Lili Mou, Ge Li, Yuxuan Liu, Hao Peng, Zhi Jin, Yan Xu, Lu Zhang 单位: Software Institute, School of EECS, Peking University 出版: arxiv...翻译 2018-05-17 09:37:11 · 683 阅读 · 1 评论 -
Learning to Represent Programs with Graphs
题目: Learning to Represent Programs with Graphs 作者: Miltiadis Allamanis, Marc Brockschmidt, Mahmoud Khademi 单位: Microsoft Research, Simon Fraser University 出版: ICLR 2018解决的问题以往将深度学习与代码表达结合的工作更多只...翻译 2018-05-29 17:30:29 · 2568 阅读 · 5 评论 -
Subclass Discriminant Analysis
题目: Subclass Discriminant Analysis作者: Manli Zhu, Aleix M. Martinez单位: IEEE出版: IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE通过各类判别分析来抽取特征是计算机视觉领域的常用方法。判别分析的最大优点在于它能够自动抽取一个低维的特征表示,而...翻译 2019-01-04 19:01:24 · 947 阅读 · 0 评论 -
Relational inductive biases, deep learning, and graph networks
题目: Relational inductive biases, deep learning, and graph networks单位: DeepMind, Google Brain, MIT, University of Edinburgh出版: Arxiv提出的观点如果AI要获得与人类相近的能力,那么组合泛化(combinatorial generalization)一定是最优先要完...翻译 2018-12-18 11:08:43 · 344 阅读 · 0 评论