2019年06月_loserChen.

原创 Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction简析

Practice on Long Sequential User Behavior Modeling for Click-Through Rate PredictionIntroduction文章将用户表现建模分解为两个视角。从服务系统的角度，作者设计了一个用户兴趣中心模块（UIC），UIC维护用户最新的兴趣表示向量。从机器学习算法的角度，作者提出了MIMN（多信道的用户兴趣内存网络），借鉴于...

2019-06-24 21:01:27 1913

原创 Latent Cross: Making Use of Context in Recurrent Recommender Systems简析

Latent Cross: Making Use of Context in Recurrent Recommender SystemsIntroduction在本文中，作者首先研究了在前馈神经网络中将情景特征直接构造出特征的方式对于捕捉特征交叉效果一般。然后作者介绍了Youtube中使用的RNN模型，最后提出了Latent Cross模型，通过将情景特征和RNN中隐状态做点积的方式将情景信息...

2019-06-24 20:59:48 1390

原创 Sequential Scenario-Specific Meta Learner for Online Recommendation简析

Sequential Scenario-Specific Meta Learner for Online RecommendationIntroduction 冷启动是个长期存在的挑战对于一般的推荐场景来说。大多数推荐算法依赖于大量的观察数据，以及对于没什么联系的推荐算法产生不了足够好的效果。为了解决这个问题，文章使用了few-shot learning以及meta learning,提出了...

2019-06-16 21:29:30 951

原创 NAIS: Neural Attentive Item Similarity Model for Recommendation简析

NAIS: Neural Attentive Item Similarity Model for RecommendationPRELIMINARIESStandard Item-based CF为了预测用户u对于物品i的评分，ItemCF的最基本思想是计算物品i与用户u之前交互过的所有物品的相似性，预测评分计算公式如下：Ru+R_u^+Ru+是用户交互过的所有物品，sijs_{ij}...

2019-06-16 21:25:54 1136

原创 Learning and Transferring IDs Representation in E-commerce简析

Learning and Transferring IDs Representation in E-commerceIntroduction传统的编码不能很好的反应IDs之间的关系以及是高维稀疏的，因此作者提出一个基于embedding的框架来学习以及迁移IDs的表示。最近word embedding技术深入人心，通过捕捉单词语法及语义之间的关系从而将单词映射到低维表示向量中。借鉴于word...

2019-06-16 21:23:22 676

原创李宏毅机器学习之Life Long Learning

李宏毅机器学习之Life Long LearningLife-long Learning需要解决的问题Knowledge Retention学习完任务2后任务1的正确率下降了如果一起学，可以学的很好，为什么分开学，就乱了，Catastrophic ForgettingEWC 核心思想：在二次训练的时候，之前比较重要的参数尽量不要去改theta1 在平原上，所以变化对任务1的影...

2019-06-16 21:17:19 6264

原创李宏毅机器学习之Explainable ML

李宏毅机器学习之Explainable MLLocal Explanation通过移动灰色方块，来确定哪个部分是最重要的，越趋于蓝色表示越重要。类似的想法，逐像素修改，查看输出的变化求梯度的方法具有一定的局限性：Global Explanation找一个输入使得yi最大，得到的结果如下左图所示，机器觉得最像每个数字的图像在人看来都是噪声设计一个R(x)，使得x*中白点...

2019-06-16 21:12:26 1257

原创 Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation简析

Multi-Task Feature Learning for Knowledge Graph Enhanced RecommendationIntroduction在该论文中，将推荐系统和知识图谱建模视为两个分离但是相关的任务，设计了一个多任务学习的框架，利用知识图谱建模任务来辅助推荐系统任务。这两个任务之所以相关，是因为推荐系统中的一个物品会和一个或多个知识图谱中的实体相对应，因此，它们在...

2019-06-09 16:31:14 2961

原创李宏毅机器学习之Attack and Defense

李宏毅机器学习之Attack and Defense机器训练出来的模型不光性能要强，还要能够对抗人类的恶意、攻击通过人为地对图片加上噪声，使得分类产生错误。无目标的攻击：就是使得结果与事实的距离越远越好有目标的攻击：输出与答案距离越远越好的同时，还与指定的输出越接近越好Constraint的限制可以简单理解为人眼看不出差别，但是机器可以给出完全不同的答案一般对于限制的选择就是...

2019-06-09 11:14:03 1006

原创李宏毅机器学习之Anomaly Detection

李宏毅机器学习之Anomaly Detection要解决的问题给定一个数据集，我们想要找到一个函数可以区分输入x是否相似于数据集什么是异常异常侦测的应用异常侦测的分类异常侦测的一般框架（有标签）异常侦测的一般框架（无标签）那么假设数据点的分布满足高斯分布，那么就需要找到使L(θ)L(\theta)L(θ)最大的均值和方差。利用计算出的均值和方差，再利用验证集确定阈...

2019-06-09 11:06:57 542 1

原创 Behavior Sequence Transformer for E-commerce Recommendation in Alibaba简析

Behavior Sequence Transformer for E-commerce Recommendation in AlibabaIntroduction文章指出之前的WDL和DIN都没有对序列信号进行很好的捕捉，同时受transformer的启发，文章提出了BST(behavior sequence transformer)来对序列信息进行捕捉生成合适的embedding，后送入M...

2019-06-09 11:02:13 2730

原创阿里CTR预估三部曲（3）：Deep Session Interest Network for Click-Through Rate Prediction简介

##阿里CTR预估三部曲（3）：Deep Session Interest Network for Click-Through Rate PredictionIntroduction文章主要提出对于用户表现sessions，同一个session内的兴趣是相近的，而不同session之间的兴趣是异质的,因此DSIN应运而生来解决上述的问题，其中利用自注意力网络来获取sessin的兴趣表示，然后使...

2019-06-05 21:11:40 3093

原创深度学习入门之数学基础概念

深度学习之线代复习标量、向量、矩阵和张量标量（scalar）：一个标量就是一个单独的数。向量：一个向量是一列数，这些数是有序排列的。我们可以把向量看作空间中的点，每个元素是不同坐标轴上的坐标。矩阵：矩阵是一个二维数组，其中的每一个元素被两个索引（而非一个）所确定。张量（tensor）：在某些情况下，我们会讨论坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中...

2019-06-01 15:53:55 1317

loserChen的博客