Thinkgamer博客

某天某时某刻在摸鱼，闲刷某乎，看到了一篇实用性很强的文章：【闲聊推荐架构】推荐系统的曝光去重该怎么设计？，仔细阅读了一番，发现写的是真不错，推荐大家去读，但是这篇文章可能是一个「工程大佬」写的，对于曝光过滤的设计实现层面写的很赞，但是对于偏向于算法层面的同学来讲，可能不是那么友好，因此提笔在该篇文章和一些话题讨论基础上，结合笔者自己的工作经验进行补充和介绍，如果大家有什么好的想法和提议欢迎在评论区留言！1.曝光过滤问题的定义相信做推荐系统的朋友对「曝光过滤」这个话题肯定不陌生，试想在某个电商平台中总是给

1.概述SDNE（Structural Deep Network Embedding）算法是发表在KDD-2016上的一篇文章，论文的下载地址为：https://www.kdd.org/kdd2016/papers/files/rfp0191-wangAemb.pdfSDNE主要也是用来构建node embedding的，和之前介绍的node2vec发表在同年，但不过node2vec可以看作是deepwalk的扩展，而SDNE可以看作是LINE的扩展。2.算法原理SDNE和LINE中相似度的定义是一

说明：文章内容仅供学习使用，如有侵权请联系删除编辑：搜索与推荐Wiki参考：1.谷歌开源推荐系统库(TensorFlow Recommenders)2.中文视频 | TF Recommenders 系列视频教程TensorFlow RecommendersTensorFlow推荐器是一个使用TensorFlow构建推荐系统模型的库。它有助于构建推荐系统的全部工作流程:数据准备、模型制定、训练、评估和部署。它构建在Keras上，目标是让学习者有一个平缓的学习曲线，同时仍然给你构建复杂模型的灵活

CF在推荐系统的发展中扮演着举足轻重的角色，虽然已经被使用很长时间了，但依旧经久不衰。在各大互联网公司都保存着CF的使用，而气召回的效果也一直都很好。本文主要是描述一下狭义上的Item CF和广义上的Item CF，欢迎拍砖！狭义上的Item CF1.1 ItemCF 的原理ItemCF是基于Item的协同过滤（Collaboration Filter）算法，它是通过分析用户的行为来计算Item的相似度。与基于内容计算相似、一些embedding方法相比，itemcf中增加了用户的行为，在线上效果表

Spark推荐实战系列目前已经更新：Spark推荐实战系列之Swing算法介绍、实现与在阿里飞猪的实战应用Spark推荐实战系列之ALS算法实现分析Spark中如何使用矩阵运算间接实现i2iFP-Growth算法原理、Spark实现和应用介绍Spark推荐系列之Word2vec算法介绍、实验和应用说明更多精彩内容，请持续关注「搜索与推荐Wiki」！1. 背景word2vec 是Google 2013年提出的用于计算词向量的工具，在论文Efficient Estimation of Wor

1 概述LINE是2015年微软发表的一篇论文，其全称为： Large-scale Information Network Embedding。论文下载地址：https://arxiv.org/pdf/1503.03578.pdfLINE是一种基于graph产生embedding的方法，它可以适用于任何类型的graph，如无向图、有向图、加权图等，同时作者基于边采样进行了目标函数的优化，使算法既能捕获到局部的网络结构，也能捕获到全局的网络结构。2 算法原理2.1 新的相似度定义该算法同时优化了节点

1 概述Node2vec是2016年斯坦福教授 Jure Leskovec、Aditya Grover提出的论文，论文的下载链接为：https://arxiv.org/pdf/1607.00653.pdf。其本质上是对Deepwalk的延伸，也是属于图神经网络种随机游走模型一类。不了解Deepwalk的可以看上一篇文章：论文｜DeepWalk的算法原理、代码实现和应用说明。Node2vec在DeepWalk的基础上提出了更加合理的图特征学习方法，提出了用于网络中可伸缩特征学习的半监督算法，使用SGD优

万物皆可Embedding系列会结合论文和实践经验进行介绍，前期主要集中在论文中，后期会加入实践经验和案例，目前已更新：万物皆可Vector之语言模型：从N-Gram到NNLM、RNNLM万物皆可Vector之Word2vec：2个模型、2个优化及实战使用Item2vec中值得细细品味的8个经典tricks和thinksSentence2Vec & GloVe 算法原理、推导与实现Doc2vec的算法原理、代码实现及应用启发DeepWalk的算法原理、代码实现和应用说明后续会持续更

迁移学习（Transfer Learning）作为机器学习的一大分支，已经取得了长足的进步。在人工智能领域，无论是图像识别、NLP、搜索推荐都离不开迁移学习的身影。迁移学习的核心问题是找到源域和目标域的某种相似性，继而将已知的知识应用到目标域中。迁移学习的一个核心要解决的问题是冷启动、数据稀疏性，当然其前提是同一个公司有不同的业务或者APP数据可以供不同部门进行使用和挖掘，比如阿里、腾讯、美团等，业务模型丰富，可以进行相应的迁移学习。当迁移学习应用到推荐系统中时就被称为跨域推荐（Cross-Domain

本系列主要是基于Spark的推荐算法实战系列，本文为首篇，欢迎关注！1.Swing算法介绍Swing算法原理比较简单，是阿里早期使用到的一种召回算法，在阿里多个业务被验证过非常有效的一种召回方式，它认为 user-item-user 的结构比 itemCF 的单边结构更稳定，截止目前并没有公开的论文进行介绍和说明（可能是因为比较简单，阿里看不上哈哈），但是根据网上的各种资料，对该算法的原理进行介绍，如有错误，欢迎指正。Swing指的是秋千，例如用户 uuu 和用户 vvv ，都购买过同一件商品iii，

流量为王的时代，如何精准的利用用户的流量进行分析和产品的迭代？ABTest就是其中不可缺少的一环，那么ABTest是什么呢？下面来一层一层揭开它神秘的面纱。0.流量分发在互联网流量的分发模式中，主要的两种分发模式为：中心化：平台负责流量的分配，节点的流量来自平台分配，平台拥有流量的控制权，比如像淘宝、京东、美团等互联网产品都是一个中心化的流量分发模式去中心化：相对于中心化而言，去中心化模式并不负责流量的分配，节点的流量需要自己获取，节点本身拥有流量的控制权，其中典型的产品是微信，张小龙在阐述微信公

看过星爷电影《喜剧之王》的人都知道，在电影中出现的一本书叫《演员的自我修养》，一个演员可以跑一次、十次、一百次龙套，但是不能跑一辈子龙套，跑一辈子龙套的不叫演员，只能叫跑龙套！同样在我们做技术的、做算法的也是一样的道理，如果从业期间，不追求技术的长进和个人成长，那和跑龙套的有什么区别，拿着差不多的工资，干着差不多的活，回到差不多的家，喝着差不多的茶，过着差不多的人生，演着差不多的笑话！那么算法工程师（这里本来想写技术工程师的，但是太广了，由于自己是从事算法行业的，所以就写算法了）的自我修养是什么呢？自我

上一篇（结合论文看Youtube推荐系统中召回和排序的演进之路（上）篇）主要介绍的是Youtube发表的三篇论文，但主要集中在机器学习方向，接下来会用几篇论文说明一下Youtube在深度学习推荐系统方向做的工作。在介绍Youtube的DNN之前，先介绍一篇Google的非常经典的深度学习推荐算法Wide & Deep，虽然Youtube 也属于Google，这里之所以先介绍Wide & Deep，因为我个人觉得这应该是深度学习应用在推荐系统排序上的「基石」之作，而且其提出的框架也是非常的经

强化学习系列学习笔记，结合《UCL强化学习公开课》、《白话强化学习与PyTorch》、网络内容，如有错误请指正，一起学习！强化学习基本介绍强化学习的中心思想是让智能体在环境中自我学习和迭代优化。强化学习流程强化学习的过程是一个反馈控制系统，其大概的一个流程图如下所示：结合这张图，我们进行相关的概念解释和流程说明。首先图中涉及了几个概念，我们依次来看下是什么意思。Agent：或者称为“Brain”、大脑、智能体，是机器人的智能主体部分，也即我们要操控的对象Environment：指机器人所处

本文涉及的论文如下：【2008 年】Video Suggestion and Discovery for YouTube: Taking Random Walks Through the View Graph【RecSys 2010】The YouTube Video Recommendation System【ICML 2013】Label Partitioning For Sublinear Ranking内容主要介绍Youtube在机器学习方面的探索和尝试！后续会更新Youtube在深度学

万物皆可Embedding系列会结合论文和实践经验进行介绍，前期主要集中在论文中，后期会加入实践经验和案例，目前已更新：万物皆可Vector之语言模型：从N-Gram到NNLM、RNNLM万物皆可Vector之Word2vec：2个模型、2个优化及实战使用Item2vec中值得细细品味的8个经典tricks和thinksDoc2vec的算法原理、代码实现及应用启发Sentence2Vec & GloVe 算法原理、推导实与现后续会持续更新Embedding相关的文章，欢迎持续关注「搜

万物皆可Embedding系列会结合论文和实践经验进行介绍，前期主要集中在论文中，后期会加入实践经验和案例，目前已更新：万物皆可Vector之语言模型：从N-Gram到NNLM、RNNLM万物皆可Vector之Word2vec：2个模型、2个优化及实战使用Item2vec中值得细细品味的8个经典tricks和thinksDoc2vec的算法原理、代码实现及应用启发后续会持续更新Embedding相关的文章，欢迎持续关注「搜索与推荐Wiki」Doc2vec是Mikolov2014年提出的论文

本主题文章将会分为三部分介绍，每部分的主题为：word2vec的前奏-统计语言模型word2vec详解-风华不减其他xxx2vec论文和应用介绍后续会更新Embedding相关的文章，可能会单独成系列，也可能会放到《特征工程-Embedding系列中》，欢迎持续关注「搜索与推荐Wiki」Item2vec：论文《Item2Vec：Neural Item Embedding for Collaborative Filtering》来自于微软2016年发表在RecSys上的，因为word2vec

本主题文章将会分为三部分介绍，每部分的主题为：word2vec的前奏-统计语言模型word2vec详解-风华不减其他xxx2vec论文和应用介绍后续会更新Embedding相关的文章，可能会单独成系列，也可能会放到《特征工程-Embedding系列中》，欢迎持续关注「搜索与推荐Wiki」2.1、背景介绍word2vec 是Google 2013年提出的用于计算词向量的工具，在论文Efficient Estimation of Word Representations in Vector S