永远飞翔的鸟

阿里云天池大赛赛题解析——深度学习篇

阿里云天池大赛赛题解析——机器学习篇

《机器学习算法竞赛实战》读书笔记

推荐算法

推荐系统 - Swing算法

数据预处理：离散特征编码方法

向量检索基础方法总结

美团外卖特征平台的建设与实践

时间序列分析预测实战之ARIMA模型

从Boosting谈到LamdaMART

[论文阅读] DeText——领英深度神经网络排序框架实践 - 知乎

一、协同过滤1.在 MovieLens 数据集中，不同用户对物品打分的标准不尽相同。比如说，有的人可能爱打高分，评价的影片得分都在 4 分以上，有的人爱打低分，大部分影片都在 3 分以下。你觉得这样的偏好对于推荐结果有影响吗？我们能不能在算法中消除这种偏好呢？答：在生成共现矩阵的时候对用户的评分进行用户级别的校正或者归一化，用当前得分减去用户平均得分作为共现矩阵里面的值。消除用户评分偏差可以根据用户的平均评分标准化，即原始向量【x1,x2,x3】变成【x1-xp,x2-xp,x3-xp】，这样有利于

　在文本挖掘的分词原理中，我们讲到了文本挖掘的预处理的关键一步：“分词”，而在做了分词后，如果我们是做文本分类聚类，则后面关键的特征预处理步骤有向量化或向量化的特例Hash Trick，本文我们就对向量化和特例Hash Trick预处理方法做一个总结。1. 词袋模型　　　　在讲向量化与Hash Trick之前，我们先说说词袋模型(Bag of Words,简称BoW)。词袋模型假设我们不考虑文本中词与词之间的上下文关系，仅仅只考虑所有词的权重。而权重与词在文本中出现的频率有关。　　　　词袋模型首

文本分类很少做增量训练。文本一般比较稳定，一般隔一段时间整体训练一次。CTR预估的时候，需要增量训练。因为数据更新的比较快。树模型不能进行增量训练。

向量化在推荐中使用的场景：向量相似度计算。工作中用的最多算法：faiss和kd-tree.，最多的是faiss，其底层使用C++实现的。kd-tree一般在vector的维度小于30维度的时候，才可以，否则速度跟不上。用例演练：...

先找哪一个维度的方差大，然后就按照这个维度，找到该维度的中位数接近的点作为跟节点。faiss的性能：800W个200维度的向量，faiss查找时间30ms以内。faiss一般用来做单路召回，一般不会召回很多，一般召回几百个，最多1000到2000个。......

word2vec

1.

DSSM有多少层：中间1层也可以，二层也可以。负样本一般取多少个，2到6个都可以。双塔模型：有些场景中为什么不添加用户近期是否浏览过这个商品？因为电商或者文章也好，用户浏览过的商品在一定时间内是不能重复推荐的，它都已经不参与交互了，所以这个特征在这种场景已经失效了。用户id和物品id能做特征交叉嘛？答：不能，比如item500W个，用户400W个维度太大，交叉后特征爆炸。另外，有些物品短期在重复报关，交叉后也没什么用。用户最近浏览的商品来代替用户的近期兴趣。双塔一...

多路召回中，如何评估单路模型的召回能力？1. 看这一路召回的物品中曝光出去的物品在这一次曝光物品的占比：模型的分发能力。2.端内总体的数据指标：ctr,cvr误区：仅仅看单路召回的指标，如单路的ctr，为什么错误：可能这一路把其他路的分发挤掉了。（例外情况,先上A路，然后A路下掉，上B路。这时可以拿A路和B路对比。或者进行AB测试。）不同召回角色不同，要根据目标进行评判。比如负责多样性的，如果多样性好，只要CTR没有掉，就可以。CTR上来更好。采样：如果线上比例1：9，很多地方一般.

召回结构：排序结构：工程trick：对每个用户采用相同的采样个数

一、Word2vec模型介绍与举例1.1 Skip-Gram详解1.2 词向量的优势二、word2vec之keras实现2.1 keras实现skip-gram模型2.2 keras实现CBOW模型三、word2vec之tensorflow实现3.1 tensorflow实现skip-gram模型3.2tensorflow实现CBOW模型四、相关参考4.1word2vec 中的数学原理详解......

GMF模型，构图灵活。每一个物品和用户初始化两套。一个直接拼接。一个通过全连接。

用户的兴趣有长期、中期、短期。召回的时候，需要每一种都取一点。根据端内用户群体的特征，可以对不同种类的类别再推荐的时候，可以给每一个类别一个基础分base.在用户有行为了之后，可以在进行调整。比如base + Click/Exposure有的tag具有长实效性，有的tag具有短实效性。有些时候，你需要对用户的长实效性的tag进行一些试探。有的tag时效性短，有的tag时效性长。因此，不同tag的用户的兴趣下降和上升的速度不一...

attention注意力机制是什么：加权平均。attention机制主要就是两个问题：加权平均、权值怎么算、对哪些做加权。对自注意力机制的改进。softmax--->tanh

目录一、BN提出的背景意义二、卷积神经网络(CNN)优化之BN使用其他笔记一、BN提出的背景意义本文的背景文献是：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，Batch Normalization算法目前已经被大量的应用，最新的文献算...

一般来说内容画像比用户画像简单，因为用户画像涉及到用户的行为，是动态变化的。对于内容画像，以文章为例，主要就是文章的主题、分类、时效性、审核是否规范（涉黄涉秘）等，这些是固定的。以文章画像为例，其流程如下：抽取出来的词，可能需要更具业务进行调整。比如两篇文章。同时出现了一个单词，并且权重相同。但是该单词在第一篇文章中还出现在了标题中。该词在第一篇文章中的权重需要加大，比如加一个权重值（加2）。抽取完毕关键词后，比如一个文章抽取15个关键词。有的文章内容丰富，抽取15个关键词，可.

1.AUC的含义AUC是ROC曲线下的面积，它是机器学习用于二分类模型的评价指标，AUC反应的是模型对样本的排序能力。它的统计意义是：随机抽出一对样本（一个正样本，一个负样本），然后用训练得到的分类器来对这两个样本进行预测，预测得到正样本的概率大于负样本概率的概率。ROC曲线的横坐标为false postive rate（fpr),纵坐标为true positive rate(tpr)，...

目录L0范数L1范数L2范数L1 和L2区别总结:数学公式解释几何空间解释从偏差和方差角度理解正则L1正则化使得模型更加稀疏，L2使得模型参数更趋近于0，提高泛化能力(这里是另外一个解释:https://www.zhihu.com/question/38081976/answer/74895039机器学习中的范数规则化之（一）L0、L1与L2范数：https:/...

　　LR是一个传统的二分类模型，它也可以用于多分类任务，其基本思想是：将多分类任务拆分成若干个二分类任务，然后对每个二分类任务训练一个模型，最后将多个模型的结果进行集成以获得最终的分类结果。一般来说，可以采取的拆分策略有：one vs one策略　　假设我们有N个类别，该策略基本思想就是不同类别两两之间训练一个分类器，这时我们一共会训练出种不同的分类器。在预测时，我们将样本提交给所有的分类...

沿着梯度的方向，函数下降的最快。常用优化法： 梯度法和牛顿法x0表示上一次的x值， x表示当前x 的值。求最值，导数等于0的之后，所以要让导数等于0求极值点。牛顿法的缺点： 一阶导数是雅可比矩阵，二阶导数是一个海森矩阵。求一个矩阵的逆矩阵计算量比较大。二阶导数要是等于0，牛顿法失效。更多的情况下使用的是拟牛顿法。梯度是使用平面（一阶导）来拟合目标函数，有一阶项， 一阶是平面。牛顿法是用用曲面（二阶导）来拟合目标函数，有二阶项。二阶是曲面。...

相关参考：1.推荐系统遇上深度学习(十八)--探秘阿里之深度兴趣网络(DIN)浅析及实现：https://www.jianshu.com/p/73b6f5d00f46?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=weibo2.https://blog....

去年Airbnb——爱彼迎公布了他们的房源推荐算法，并且成为2018年kdd的最佳论文，论文标题 Real-time Personalization using Embeddings for Search Ranking at Airbnb（https://www.kdd.org/kdd2018/accepted-papers/view/real-time-personalization-usin...

目录一、youtube深度神经网络模型介绍二、youtube推荐系统之DNN实战1.MovieLens数据集介绍2 数据组织3 模型构建4模型训练和保存5 模型预测三、论文详细解读一、youtube深度神经网络模型介绍YouTube是如今工业界最大和最复杂的推荐系统之一，2016年9月，Youtube在RecSys会议上发表了Deep Neur...

目录一.背景二.ESMM模型2.1 ESMM 模型结构2.2 ESMM模型特点2.3.ESMM模型适用场景三、实验效果3.1 对比模型介绍3.2 公开数据集实验3.3 淘宝数据集实验四.实战4.1 公开数据集的下载和使用4.2 数据处理4.3 主要框架部分代码五、总结参考文献论文地址：https://arxiv.org/abs/180...

目录一、ctr预估之从Wide&Deep到DeepFM二、推荐系统遇上深度学习(三)--DeepFM模型理论和实践1、背景2、DeepFM模型3、相关知识4、代码解析参考资料一、ctr预估之从Wide&Deep到DeepFM转载：https://blog.csdn.net/Zhangbei_/article/details/90544265分......

一、协同过滤1.1 User-CF与Item-CF的比较1.2 基于共现的协同过滤算法二、LoglikelihoodRatio算法三、Embedding表示召回四、召回算法的应用场景五、相关参考六、数据和代码汇总

前言本项目使用文本卷积神经网络，并使用MovieLens数据集完成电影推荐的任务。推荐系统在日常的网络应用中无处不在，比如网上购物、网上买书、新闻app、社交网络、音乐网站、电影网站等等等等，有人的地方就有推荐。根据个人的喜好，相同喜好人群的习惯等信息进行个性化的内容推荐。比如打开新闻类的app，因为有了个性化的内容，每个人看到的新闻首页都是不一样的。这当然是很有用的，在信息爆炸的今天...