Thinkgamer博客

万物皆可Embedding系列会结合论文和实践经验进行介绍，前期主要集中在论文中，后期会加入实践经验和案例，目前已更新：万物皆可Vector之语言模型：从N-Gram到NNLM、RNNLM万物皆可Vector之Word2vec：2个模型、2个优化及实战使用Item2vec中值得细细品味的8个经典tricks和thinksSentence2Vec & GloVe 算法原理、推导与实现Doc2vec的算法原理、代码实现及应用启发DeepWalk的算法原理、代码实现和应用说明后续会持续更

迁移学习（Transfer Learning）作为机器学习的一大分支，已经取得了长足的进步。在人工智能领域，无论是图像识别、NLP、搜索推荐都离不开迁移学习的身影。迁移学习的核心问题是找到源域和目标域的某种相似性，继而将已知的知识应用到目标域中。迁移学习的一个核心要解决的问题是冷启动、数据稀疏性，当然其前提是同一个公司有不同的业务或者APP数据可以供不同部门进行使用和挖掘，比如阿里、腾讯、美团等，业务模型丰富，可以进行相应的迁移学习。当迁移学习应用到推荐系统中时就被称为跨域推荐（Cross-Domain

本系列主要是基于Spark的推荐算法实战系列，本文为首篇，欢迎关注！1.Swing算法介绍Swing算法原理比较简单，是阿里早期使用到的一种召回算法，在阿里多个业务被验证过非常有效的一种召回方式，它认为 user-item-user 的结构比 itemCF 的单边结构更稳定，截止目前并没有公开的论文进行介绍和说明（可能是因为比较简单，阿里看不上哈哈），但是根据网上的各种资料，对该算法的原理进行介绍，如有错误，欢迎指正。Swing指的是秋千，例如用户 uuu 和用户 vvv ，都购买过同一件商品iii，

流量为王的时代，如何精准的利用用户的流量进行分析和产品的迭代？ABTest就是其中不可缺少的一环，那么ABTest是什么呢？下面来一层一层揭开它神秘的面纱。0.流量分发在互联网流量的分发模式中，主要的两种分发模式为：中心化：平台负责流量的分配，节点的流量来自平台分配，平台拥有流量的控制权，比如像淘宝、京东、美团等互联网产品都是一个中心化的流量分发模式去中心化：相对于中心化而言，去中心化模式并不负责流量的分配，节点的流量需要自己获取，节点本身拥有流量的控制权，其中典型的产品是微信，张小龙在阐述微信公

看过星爷电影《喜剧之王》的人都知道，在电影中出现的一本书叫《演员的自我修养》，一个演员可以跑一次、十次、一百次龙套，但是不能跑一辈子龙套，跑一辈子龙套的不叫演员，只能叫跑龙套！同样在我们做技术的、做算法的也是一样的道理，如果从业期间，不追求技术的长进和个人成长，那和跑龙套的有什么区别，拿着差不多的工资，干着差不多的活，回到差不多的家，喝着差不多的茶，过着差不多的人生，演着差不多的笑话！那么算法工程师（这里本来想写技术工程师的，但是太广了，由于自己是从事算法行业的，所以就写算法了）的自我修养是什么呢？自我

上一篇（结合论文看Youtube推荐系统中召回和排序的演进之路（上）篇）主要介绍的是Youtube发表的三篇论文，但主要集中在机器学习方向，接下来会用几篇论文说明一下Youtube在深度学习推荐系统方向做的工作。在介绍Youtube的DNN之前，先介绍一篇Google的非常经典的深度学习推荐算法Wide & Deep，虽然Youtube 也属于Google，这里之所以先介绍Wide & Deep，因为我个人觉得这应该是深度学习应用在推荐系统排序上的「基石」之作，而且其提出的框架也是非常的经

强化学习系列学习笔记，结合《UCL强化学习公开课》、《白话强化学习与PyTorch》、网络内容，如有错误请指正，一起学习！强化学习基本介绍强化学习的中心思想是让智能体在环境中自我学习和迭代优化。强化学习流程强化学习的过程是一个反馈控制系统，其大概的一个流程图如下所示：结合这张图，我们进行相关的概念解释和流程说明。首先图中涉及了几个概念，我们依次来看下是什么意思。Agent：或者称为“Brain”、大脑、智能体，是机器人的智能主体部分，也即我们要操控的对象Environment：指机器人所处

本文涉及的论文如下：【2008 年】Video Suggestion and Discovery for YouTube: Taking Random Walks Through the View Graph【RecSys 2010】The YouTube Video Recommendation System【ICML 2013】Label Partitioning For Sublinear Ranking内容主要介绍Youtube在机器学习方面的探索和尝试！后续会更新Youtube在深度学

万物皆可Embedding系列会结合论文和实践经验进行介绍，前期主要集中在论文中，后期会加入实践经验和案例，目前已更新：万物皆可Vector之语言模型：从N-Gram到NNLM、RNNLM万物皆可Vector之Word2vec：2个模型、2个优化及实战使用Item2vec中值得细细品味的8个经典tricks和thinksDoc2vec的算法原理、代码实现及应用启发Sentence2Vec & GloVe 算法原理、推导实与现后续会持续更新Embedding相关的文章，欢迎持续关注「搜

万物皆可Embedding系列会结合论文和实践经验进行介绍，前期主要集中在论文中，后期会加入实践经验和案例，目前已更新：万物皆可Vector之语言模型：从N-Gram到NNLM、RNNLM万物皆可Vector之Word2vec：2个模型、2个优化及实战使用Item2vec中值得细细品味的8个经典tricks和thinksDoc2vec的算法原理、代码实现及应用启发后续会持续更新Embedding相关的文章，欢迎持续关注「搜索与推荐Wiki」Doc2vec是Mikolov2014年提出的论文

本主题文章将会分为三部分介绍，每部分的主题为：word2vec的前奏-统计语言模型word2vec详解-风华不减其他xxx2vec论文和应用介绍后续会更新Embedding相关的文章，可能会单独成系列，也可能会放到《特征工程-Embedding系列中》，欢迎持续关注「搜索与推荐Wiki」Item2vec：论文《Item2Vec：Neural Item Embedding for Collaborative Filtering》来自于微软2016年发表在RecSys上的，因为word2vec

本主题文章将会分为三部分介绍，每部分的主题为：word2vec的前奏-统计语言模型word2vec详解-风华不减其他xxx2vec论文和应用介绍后续会更新Embedding相关的文章，可能会单独成系列，也可能会放到《特征工程-Embedding系列中》，欢迎持续关注「搜索与推荐Wiki」2.1、背景介绍word2vec 是Google 2013年提出的用于计算词向量的工具，在论文Efficient Estimation of Word Representations in Vector S

本主题文章将会分为三部分介绍，每部分的主题为：word2vec的前奏-统计语言模型word2vec详解-风华不减其他xxx2vec论文和应用介绍后续会更新Embedding相关的文章，可能会单独成系列，也可能会放到《特征工程-Embedding系列中》，欢迎持续关注「搜索与推荐Wiki」1.1、基础知识a）定义语言模型（Language model）是自然语言处理的重要技术，自然语言处理中最常见的是文本数据，我们可以把一段自然语言文本看作是一段离散的时间序列，假设一段长度为TTT的文本中

其实在19年初的时候大概看了一下这篇论文，但当时其实理解的并不深，今天再读的时候发现这里边其实包含了很多东西，不仅是学术性的目标函数优化，也包括工程性的取舍和特征的构造。本文分为两部分，第一部分主要介绍论文，第二部分谈从中的收获和启发，如果你对论文比较熟悉的话可以直接阅读第二部分。第一部分引言Airbnb于2018年提出了论文《Real-time Personalization using Embeddings for Search Ranking at Airbnb》，可谓是Embedding技术

本文主要介绍CTR场景中的对数损失函数和交叉熵损失函数，以及对数损失函数的取值范围，如果觉得对你有帮助，文末「分享」「点赞」「在看」来一波，点击「阅读原文」获取精彩比例PDF下载链接。极大似然估计在统计学领域，有两种对立的思想学派：贝叶斯学派和经典学派（频率学派），他们之间最大的区别是如何看待被估计的参数。贝叶斯学派的观点是将其看成是已知分布的随机变量，而经典学派的观点是将其看成未知的待估计的常量。极大似然估计属于经典学派的一种。通俗来说，极大似然估计就是利用已知的样本结果信息，反推最大概率出现这.

基于深度学习的召回近些年已经得到了长足的发展，其中双塔模型更是作为经典的深度学习召回模型被各大公司应用，回顾双塔模型的发展可以追溯到2003年微软发布的DSSM模型，本篇文章将会从DSSM开始介绍几篇论文，看一下DSSM模型是怎么发展成为双塔模型并应用在推荐系统中做召回的。DSSMDSSM模型是2013年微软发布的，其论文全称为：Learning Deep Structured Semantic Models for Web Search using Clickthrough Dara（https://

今天在《推荐系统开发实战》的读者群里聊天，在探讨技术问题的时候发现也有朋友对一些非技术的问题比较感兴趣，这里进行总结和分享，希望能够帮助到看这篇文章的人。欢迎加我的微信进行技术交流，非技术的人生思考问题也可以进行探讨。我的微信号如下图以下问题，随机排序，不分先后！Q、推荐算法工程师的工资待遇怎么样A：这个问题真的是很直接呀，当然可以理解，毕竟我们工作就是为了赚钱，为了生活。推荐算法工程师和算法工程师的待遇基本差不多，不过不同地方、不同级别的推荐算法工程师待遇肯定是不一样，比如一线的北上广深

算法工程师的日常工作中基础最多的便是数据，但是大多数的算法工程师在使用数据过程中，最缺少的还是对数据的整体把控和分析，更多靠的是业务经验。但是严谨的算法工程师在建模之前是需要对数据进行探索和分析的，以便于在建模过程中能给更快的做出更优的模型。生活中最苦难的事情就是了解自己，建模过程中最苦难的事是了解数据！了解数据是一件非常困难的事情，且非常耗时，因此从事数据科学很容易忽略前期的数据了解，而直接对数据进行应用。本文是一篇非完整的翻译文（在个人理解的基础上进行翻译，个人水平有限，如果文章有误，欢迎在评论.

本文来自王喆老师《深度学习推荐系统》一书，如果有一定的推荐系统基础的话，建议读一读，当然如果只是初学者的话还是建议从基础的开始学起，比如《推荐系统开发实战》。传统机器学习推荐模型演化简单讲，传统推荐模型的发展主要由以下几部分组成协同过滤算法族即上图中蓝色部分，协同过滤是推荐系统的首选模型，从物品相似度和用户相似角度出发，衍生出了ItemCF和UserCF两种算法。为了使协同过滤衍生出矩阵分解模型（Matrix Factorization，MF），并发展出矩阵分解的各分支模型。逻辑回归模型族.

这篇文章主要分享一下模型训练的一般流程，目的是让大家明白做一个算法模型过程中会涉及的流程和数据特征在算法模型中的重要性。作为一名算法工程师训练模型可谓是家常便饭，不管是做推荐中的召回模型、排序模型还是其他领域的分类模型等，都应该有一个规范化的流程，这样在做模型的过程中也会更加清晰，当然也不一定完全遵循这个流程，只是说基本过程应该是一致的。1、总诀式——定义问题What，How，Why。首先要弄清楚自己要干什么，然后调研相关的技术确定怎么解决问题，最后反思自己为什么要用这个方案解决这个问题，有没有更好的

用户画像在推荐系统中扮演着重要的角色，这篇文章主要是阅读《用户网络行为画像》一书的读书摘要，该书较老，感觉更加适合产品经理或者不懂推荐的人看，如果读者本身就是一个推荐从业者的话，只需要看书的前半部分，对用户画像有个本质的理解即可，后半部分可忽略。可以在京东或者当当上购买纸质版图书，也可以购买京东上的电子版，如果想要获取免费的电子版，加我的微信号，备注【book】即可获取用户描述分为三种情况用户画像（User Portrait），更倾向于对同一类用户进行不同维度的刻画用户角色（User .

稀疏自编码自编码器（Auto-Encoder）顾名思义，即可以利用自身的高阶特征编码自己。自编码器也是一种神经网络，他的输入和输出是一致的，他借助稀疏编码的思想，目标是使用稀疏的一些高阶特征重新组合来重构自己。因此他的特征十分明显：期望输入与输出一致希望使用高阶特征来重构自己，而不只是复制像素点自编码器的输入节点和输出节点的数量是一致的，但如果只是单纯的逐个复制输入节点则没有意义，像前面提到的，自编码器通常希望使用少量稀疏的高维特征来重构输入，所以加入几种限制：（1）中间隐含层节点的数量。

本文为《推荐系统与深度学习》第六章的复习笔记，只记录了一些要点，希望能够快速的进行复习，如果发现哪一个点不明白的话，可以自行展开学习或者加小编微信进行沟通。深度学习在推荐中发挥的作用：能够直接从内容中提取特征，表征能力强容易对噪声数据进行处理，抗噪能力强可以使用循环神经网络对动态或者序列数据进行建模可以更加准确的学习user和item的特征基于DNN的推荐算法推荐系统和通用搜索排序问题共有的一大挑战为同时具备记忆能力和泛化能力。记忆能力可以解释为学习那些经常共同出现的特征，发现历史.

本文为《推荐系统与深度学习》第五章的复习笔记，只记录了一些要点，希望能够快速的进行复习，如果发现哪一个点不明白的话，可以自行展开学习或者加小编微信进行技术交流。5.1 什么是混合推荐系统混合推荐系统的含义海量数据推荐系统中通常存在三部分：在线系统（Online）直接与用户进行交互，具有高性能、高可用的特性，通常利用缓存系统，处理热门请求的重复计算近在线系统（Nearline）接受在线系统的请求，执行比较复杂的推荐算法，缓存在线系统的结果，并及时收集用户的反馈，快速调整结果离.

本文为《推荐系统与深度学习》第四章的复习笔记，只记录了一些要点，希望能够快速的进行复习，如果发现哪一个点不明白的话，可以自行展开学习。4.1 基于内容的推荐算法基于内容的推荐算法步骤：特征（内容）提取用户偏好计算内容召回（召回用户偏好的top K）物品排序（可以根据top K中其他用户打分平均值最高的top N推荐给用户，好处是可以考虑其他用户的意见）优点：物品没有冷启动问题（因为物品的内容特征不依赖于用户数据），推荐出的物品也不会存在过于热门的问题能够捕获到用户的特殊偏好原理.

这篇文章主要分享的论文是2018年被CCF收录的一篇论文：Attentive Group Recommendation（基于注意力机制的群组推荐），第一作者是湖南大学的曹达老师，二作是论文Neural Collaborative Filtering的作者何老师。当然也会结合小编的工作来进行一些补充说明，写的不好，欢迎拍砖！

这篇文章主要是普及一下群组推荐系统，众所周知，推荐系统已经应用十分广泛，群组推荐的应用不仅老用户上发挥了极大的作用，在新用户的冷启动上也发挥了很大的作用。由于后续会有一篇文章介绍结合深度学习的群组推荐，所以这里先借用该篇论文，借花献佛，介绍一下群组推荐系统和其应用。本文中所涉及的内容算是比较老了，但在不同公司或者推荐系统的不同阶段仍然有应用，其中群组推荐的思想更是经久不衰，所以本文比较适合以“...

相信熟悉推荐系统的同学对于协同过滤（Collaborative Filtering）已经熟悉的不能再熟悉了，我也相信很多人心里在想“这么简单的协同，都2020年了，谁还用呀”。俗话说得好，人不可貌相，海水不可斗量！CF作为最早的推荐算法，基于CF的改进在学术界和工业界应用的十分广泛，就在之前介绍的一篇论文里，介绍了腾讯实时ItemCF的实现和应用，所以说可千万别小瞧协同过滤了。本篇论文主要介绍...

Learning to rank（LTR，L2R）也叫排序学习，泛指机器学习中任何用户排序的技术，是指一类监督学习（Supervised Learning）排序算法。 LTR被应用在很多领域，比如信息检索（Information Retrieval）、推荐系统（Recommend System）、搜索引擎（Search Engine）。LTR框架一般来讲，根据机器学习的“四大支柱”，LTR分为...

好久没写过碎言碎语的文章了，一直都是更新技术文章，那么今天就换换口味，聊一聊近况和想法。自从回北京之后，就一直在家办公，十几平方的卧室内支撑着北漂的身体和灵魂，我相信这不是我一个人的情况，而是无数在异国他乡追求自己理想的人的缩影。来北京工作的人无非就两种想法，第一：追求梦想，实现人生价值，可能的话定居北京，成为一个新的北京人，第二：赚钱，满足自己和家庭的生活、物质和一些所谓的虚荣心的需求。这两...

今天要分享的一篇论文是有关腾讯如何利用协同过滤（Collaborative Filtering）、基于内容和图进行实时推荐的，我们都知道协同过滤是传统的推荐算法，但在实际应用中取得的效果却很好，因此在各大公司应用的也非常广泛。协同过滤的改进经常出现了各种硕士研究生的毕业论文中，那都属于学术界的研究和实现，且是离线的，在工业界的CF算法实现和如何实时基于CF进行推荐的资料却是少之又少，接下来的内容...

首先在这里给各位读者分享一个好消息，我的处女作《推荐系统开发实战》已经被两所高校纳为教学用书了，当编辑把这个消息告诉我的时候，说实话内心十分的激动和意外！目前这本书在京东和当当都有满100-50的活动，感兴趣的朋友欢迎购买阅读，目前该书还没有电子版，所以只能阅读纸质书了！当当购买链接：http://product.dangdang.com/27913798.html京东购买链接：https...

这里简单说下为什么要写系列的文章，虽然系列的文章很不吃香，阅读率也是惨淡的一笔，可能很多人更爱看的是「标题党」、「八卦文」、「科普文」这样的。但我觉得系列文和技术文是真的很考验作者的，首先要面临惨淡的阅读和稀里哗啦的数据统计，其次要面临的是自己内心的崩溃。但好处是坚持下来，自己写完一个系列，自己的知识体系也就更加完善了，而不是零零散散的没有重点和边际。所以后续的文章大多数还是会以系列文呈现出来，...

本文主要分为上下两部分，（上）部分主要介绍一下企业内部什么时候需要引入AI技术（这里的AI技术泛指机器学习、深度学习、NLP、视觉、语音、推荐等），（下）部分主要介绍一下在引入这些AI技术之后的一些情况和企业的技术方向发展。（上）部分数据积累当一个产品是以内容为主的时候，必然会积累大量的数据，在这个数据为王的时代，有了数据当前要进行分析、挖掘，然后产出更多的商业价值。这个时候必然需要引...

窗外有漆黑的夜，心中是明亮的灯。其实每个人的内心都有一颗属于自己的灯塔，不渡远方的邮轮，不引迷路的灵魂。不知不觉的，时间又过了一年，年初兴高采烈给自己2019立flag的情景还在眼前晃着，一不小心这一年就要彻底沦为过往了。回想过去这一年，许多人匆匆到来，也有很多人悄悄离去，有过好友相聚的狂欢，也有无数捧着孤独无处存放的夜晚，有过收获的满足，也有在崩溃边缘挣扎的心酸，有过山野隔绝的轻松，也有追逐...

在上一篇文章中介绍了生成模型的基本结构、功能和变分自动编码器，在本篇文章中主要介绍一下生成对抗网络（Generative Adversaarial Networks，GAN）KL散度、JS散度、Wassertein距离KL散度KL散度又称相对熵，信息散度，信息增益。KL散度是两个概率分布P和Q差别的非对称性的度量。在经典境况下，P表示数据的真实分布，Q表示数据的理论分布，模型分布。DK...

概率生成模型简称生成模型（Generative Model），是概率统计和机器学习中的一类重要模型，指一系列用于随机生成可观测数据的模型。生成模型的思路是根据可观测的样本学习一个参数化的模型pθ(x)p_{\theta}(x)pθ​(x)来近似未知分布pr(x)p_r(x)pr​(x)，使得生成的样本和真实的样本尽可能的相似。深度生成模型就是利用深层神经网络可以近似任意函数的能力来建模一个复杂的...

文章目录概述Disjoint LinUCBHybrid LinUCB评估算法实验说明实验位置数据选择特征选择特征降维实验结论注意点LinUCB 的重点场景应用本篇文章主要介绍一下雅虎在2012年发表的论文 【A Contextual-Bandit Approach to Personalized News Article Recommendation】，同时由于最近在做用户留存方面的工作，也涉...

该系列的其他文章：常见的五种神经网络(1)-前馈神经网络常见的五种神经网络(2)-卷积神经网络常见的五种神经网络(3)-循环神经网络(上篇)常见的五种神经网络(3)-循环神经网络(中篇)常见的五种神经网络(3)-循环神经网络(下篇)常见的五种神经网络(4)-深度信念网络(上篇)常见的五种神经网络(4)-深度信念网络(下篇)常见的五种神经网络(5)-生成对抗网络在上一篇文章中介...

环境说明Python 3.7.3Django 3.0安装：pip3 install -U Django文档：https://docs.djangoproject.com/zh-hans/3.0/contents/项目说明创建项目django-admin startproject mysite 配置MysqlDATABASES = { 'default': {...

背景使用libsvm格式的数据构造LabeledPoint格式，例如我的libsvm格式数据如下(索引下标最大值为，3000)：790718 1:1 2:1 4:1 5:1 6:1 7:1 9:1 11:1 13:1 16:1 19:1 21:1 28:1 31:1 43:1 64:1 65:1 140:1 164:1 184:1 296:1 463:1 481:1 642:1 813:1 1...

TFIDF算法介绍TF-IDF（Term Frequency–InverseDocument Frequency）是一种用于资讯检索与文本挖掘的常用加权技术。TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。TF-IDF实际是TF*IDF，其中TF（Term Frequency）表示词条tt...

引言常见的五种神经网络系列第三篇，主要介绍深度信念网络。内容分为上下两篇进行介绍，本文主要是深度信念网络（上）篇，主要介绍以下内容：背景玻尔兹曼机受限玻尔兹曼机该系列的其他文章：常见的五种神经网络(1)-前馈神经网络常见的五种神经网络(2)-卷积神经网络常见的五种神经网络(3)-循环神经网络(上篇)常见的五种神经网络(3)-循环神经网络(中篇)常见的五种神经网络(3)-循...

这是一份福利贴，先看内容，再看获取方式。算法文章汇总目录：美团“猜你喜欢”深度学习排序模型实践美团大脑：知识图片的建模方法及其应用深度学习在美团搜索广告排序的应用实践美团深度学习系统的工程实践美团餐饮娱乐知识图谱——美团大脑揭秘美团在O2O场景下的广告营销美团外卖骑手背后的AI技术基于TensorFlow Serving的深度学习在线评估强化学习在美团“猜你喜欢的实践”深度...

本篇文章主要介绍一些“模型独立的学习方式”，比如：集成学习、协同学习、自学习、多任务学习、迁移学习、终身学习、小样本学习、元学习等。

概述在信息爆炸时代，人们迫切希望从海量信息中获取与自身需要和兴趣吻合度高的内容，为了满足此需求，出现了多种技术，如：搜索引擎、推荐系统、问答系统、文档分类与聚类、文献查重等，而这些应用场景的关键技术之一就是文本相似度计算技术。因此了解文本相似度的计算方法是很有必要的。文本相似度定义文本相似度在不同领域被广泛讨论，由于应用场景不同，其内涵有所差异，故没有统一、公认的定义。Lin从信息论的角度...

无监督学习（Unsupervised Learning）是指从无标签的数据中学习出一些有用的模式，无监督学习一般直接从原始数据进行学习，不借助人工标签和反馈等信息。典型的无监督学习问题可以分为以下几类：无监督特征学习、密度估计、聚类。

Thompson samplingThompson Sampling是基于Beta分布进行的，所以首先看下什么是Beta分布？Beta分布可以看作是一个概率的概率分布，当你不知道一个东西的具体概率是多少时，他可以给出所有概率出现的可能性。Beta是一个非固定的公式，其表示的是一组分布（这一点和距离计算中的闵可夫斯基距离类似）。比如：二项分布（抛n次硬币，正面出现k次的概率）P(S=k)=...

谢谢

公众号标题：神经网络中的优化方法之学习率衰减和动态梯度方向引言神经网络中的网络优化和正则化问题介绍主要分为一，二，三，四篇进行介绍。第一篇包括网络优化和正则化概述优化算法介绍第二篇包括参数初始化数据预处理逐层归一化第三篇包括超参数优化第四篇包括网络正则化无论是神经网络还是机器学习都会存在很多的超参数，在神经网络中，常见的超参数有：网...

公众号标题：神经网络中的优化方法之参数初始化，数据预处理和逐层归一化引言神经网络中的网络优化和正则化问题介绍主要分为一，二，三，四篇进行介绍。第一篇包括网络优化和正则化概述优化算法介绍第二篇包括参数初始化数据预处理逐层归一化第三篇包括超参数优化第死篇包括网络正则化参数初始化对称权重现象在上一篇文章中我们提到神经网络中的参数学习是基于...

引言神经网络中的网络优化和正则化问题介绍主要分为上，中，下三篇进行介绍。上篇包括网络优化和正则化概述优化算法介绍中篇包括参数初始化数据预处理逐层归一化超参数优化下篇包括网络正则化概述虽然神经网络有比较强的表达能力，但是应用神经网络到机器学习任务时仍存在一些问题，主要分为：网络优化神经网络模型是一个非凸函数，再加上神经网络中的梯度消失和梯度...

引言常见的五种神经网络系列第三种，主要介绍循环神经网络，由于循环神经网络包含的内容过多，分位上中下三篇进行介绍，本文主要是循环神经网络（下）篇，主要介绍以下内容：长短时记忆网络（LSTM）门控循环单元网络（GRU）递归循环神经网络（RecNN）图网络（GN）该系列的其他文章：常见的五种神经网络(1)-前馈神经网络常见的五种神经网络(2)-卷积神经网络常见的五种神经网络(3)...

引言常见的五种神经网络系列第三种，主要介绍循环神经网络，分位上中下三篇进行介绍，本文主为（中）篇，涉及内容如下：循环神经网络中的参数学习RNN中的长期依赖问题常见的循环神经网络结构该系列的其他文章：常见的五种神经网络(1)-前馈神经网络常见的五种神经网络(2)-卷积神经网络常见的五种神经网络(3)-循环神经网络(上篇)常见的五种神经网络(3)-循环神经网络(中篇)常见的五...

引言常见的五种神经网络系列第三篇，主要介绍循环神经网络，由于循环神经网络包含的内容过多，分位上下两篇进行介绍，本文主要是循环神经网络（上）篇，主要介绍以下内容：循环神经网络概述如何给神经网络增加记忆能力什么是循环神经网络单向循环神经网络深度循环神经网络循环神经网络应用到机器学习任务循环神经网络中的参数学习该系列的其他文章：常见的五种神经网络(1)-前馈神经网络常见的五种...

文章目录卷积的概念一维卷积二维卷积互相关常见的卷积核及特征常见的卷积核卷积核的特征卷积的变种卷积的数学性质交换性导数卷积神经网络用卷积代替全连接卷积层汇聚层全连接层典型的卷积网络结构参数学习误差项的计算卷积层汇聚层几种典型的卷积神经网络LeNet-5AlexNetInception残差网络其他卷积方式转置卷积空洞卷积卷积神经网络（Convolutional Neural Network）是一...

转载请注明出处：https://blog.csdn.net/Gamer_gyt/article/details/95014206博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：搜索与推荐Wiki序列推荐模型 Translation-based Recommendation参考：点击阅读概述论...

论文名字：基于翻译的序列推荐方法下载地址：https://arxiv.org/pdf/1707.02410.pdf背景这篇论文是由 Ruining He，Wang-Cheng Kang和Julian McAuley三位大佬提出的，在2017年的ACM推荐系统会议（RecSys’17）上获得了最佳论文奖（在大佬主页可以下载该论文中涉及的代码和数据集，可惜代码是C++写的，不懂C++的童鞋挑战...

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：搜索与推荐Wiki个人网站：http://thinkgamer.github.io在机器学习中,有一些非常有名的理论或定理,对理解机器学习的内在特性非常有帮助。PCA学...

在上一篇文章中介绍了ALS算法的原理（[点击阅读](https://blog.csdn.net/Gamer_gyt/article/details/98897829)），在这篇文章中主要介绍一下ALS算法在Spark中的实现。

ALS也是一种协同算法，其全称是交替最小二乘法（Alternating Least Squares），由于简单高效，已被广泛应用在推荐场景中，目前已经被集成到Spark MLlib和ML库中，在下一篇文章会对其使用方式进行详细介绍，本篇文章主要介绍ALS的底层算法原理。最小二乘法（Least Squares）在介绍ALS算法之前，先来了解LS，即最小二乘法。LS算法是ALS的基础，是一种数...

2019 全球人工智能技术峰会PDF资料免费分享，资料内容涵盖各个方面，全部都是一线互联网公司的产业实践。工业实践「百度」源于产业实践的开源深度学习平台飞浆（PaddlePaddle）「易观」如何建设大数据中台（从0到1建设大数据中台）「华为」云边协同，重新定义AI机器学习「网易云」AI算法在音乐推荐中的应用「VIPKID」在线教育行业中视频理解的应用「美团点评」美团外卖...

该论文是北京一高校学生的论文，其主要是基于用户-物品-标签这样的三部图网络展开描述的。下面主要介绍一些其中提出的可用的点，其余的详细介绍可参考原文章。背景推荐算法是个性化推荐的核心，现有的推荐算法（除了点击率预估之外的）包括：基于内容的推荐算法基于项目的协同过滤算法基于用户的协同过滤算法基于模型的协同过滤算法基于社会网络分析方法的算法基于网络结构的推荐算法基于网络结构的推...

该篇文章主要介绍Slope One算法。Slope One 算法是由 Daniel Lemire 教授在 2005 年提出的一个 Item-Based 的协同过滤推荐算法。和其它类似算法相比, 它的最大优点在于算法很简单, 易于实现, 执行效率高, 同时推荐的准确性相对较高。协同过滤算法理解和Python实现基于标签的推荐算法基于图的推荐算法经典的ItemCF的问题经典的基于物品...

​本文选自网易云音乐推荐算法负责人-肖强前辈在全球人工智能峰会上的分享，主要介绍了三方面：关于网易云音乐，AI算法在音乐推荐中的应用和AI场景下的音乐思考。这里拿来分享给大家，并加上自己的理解，希望对大家有所帮助。首先说明我是网易云音乐的深度用户，目前级别LV9，每天都会去听日推。喜欢网易云音乐的原因不仅是友好的用户交互设计，而且还是因为在网易云音乐中能看到一个个陌生的故事。...

本文选自美团-王永康前辈在全球人工智能峰会上的分享，主要介绍了四方面：业务介绍，平台侧收入优化，商家侧转化优化和用户侧体验优化。这里拿来分享给大家，并加上自己的理解，希望对大家有所帮助。本文将从四个方面介绍美团外卖商业变现实践： 业务介绍 平台侧：收入优化 商家侧：转化优化 用户侧：体验优化 业务介绍首先介绍了美团外卖的业务情况，其包含了外卖商家...

最近小编在做的是计算两两用户的粉丝重合度，根据粉丝重合度去评估两个用户之间的相似度，根据条件进行过滤之后大概有3000个用户，但每个用户的粉丝量参差不齐，有上百万的，有几千的，这样在去构建笛卡尔积的时候，进行粉丝数据关联，得到的用户集就会特别大，spark运行的时候就会很慢，而且会出现很严重的数据倾斜。这个时候了解到了spark支持的数据类型，看到了CoordinateMatrix，然后深究其原理，便看到了这篇文章，经过整理形成了此文。

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：搜索与推荐Wiki个人网站：http://thinkgamer.github.io不管是电商网站，还是新闻资讯类网站，推荐系统都扮演着十分重要的角色。一个优秀的推荐系统...

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：搜索与推荐Wiki个人网站：http://thinkgamer.github.io俗话说的好：“眼看千遍,不如手写一遍”，前几篇介绍了推荐系统的来源、发展、数据预处理、...

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：搜索与推荐Wiki个人网站：http://thinkgamer.github.io推荐系统的评估方法分为用户调研、在线评估和离线评估。用户调研推荐系统的离线实验指...

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：搜索与推荐Wiki个人网站：http://thinkgamer.github.io推荐系统基于用户大量的历史行为做出事物呈现，因此用户的历史行为数据是构建一个优质推荐系...

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：搜索与推荐Wiki个人网站：http://thinkgamer.github.io本系列之前介绍的都是一些基本的推荐算法，将这些算法真正应用到工业界（即应用推荐系统的地...

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：搜索与推荐Wiki个人网站：http://thinkgamer.github.io标签系统的传统用法是，在一些网站中，用户会为自己感兴趣的对象打上一些标签，如豆瓣、网易...

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：搜索与推荐Wiki个人网站：http://thinkgamer.github.io个性化推荐是数据挖掘（Data Mining）中的一个目的明确的应用场景，所以，可以利...

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：搜索与推荐Wiki个人网站：http://thinkgamer.github.io推荐系统的受众对象为用户，只有明白用户的意图，才能给用户推荐更好的内容。基于用户行为特...

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：搜索与推荐Wiki个人网站：http://thinkgamer.github.io个性化推荐是数据挖掘（Data Mining）中的一个目的明确的应用场景，所以，可以利...

推荐系统在我们的生活中无处不在，比如购物网站，视频音乐网站，新闻网站等，那么推荐系统是如何工作的，他是基于什么方式实现的？可以在《推荐系统开发实战》这本书中进行系统的了解和学习，本篇文章是该系列文章的开篇之作，带领大家认识一下基于最近相似用户的推荐。以下内容摘自于《推荐系统开发实战》

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：搜索与推荐Wiki个人网站：http://thinkgamer.github.io接下来将会用10篇文章介绍下推荐系统的起源，应用，算法和案例，并带领大家从0到1实现属...

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：搜索与推荐Wiki个人网站：http://thinkgamer.github.io论文：Entire Space Multi-Task Model: An Effect...

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：数据与算法联盟个人网站：http://thinkgamer.github.io【Spark排序算法系列】主要介绍的是目前推荐系统或者广告点击方面用的比较广的几种算法，和...

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：数据与算法联盟个人网站：http://thinkgamer.github.io【Spark排序算法系列】主要介绍的是目前推荐系统或者广告点击方面用的比较广的几种算法，和...

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：数据与算法联盟给定一组神经元，我们可以以神经元为节点来构建一个网络。不同的神经网络模型有着不同网络连接的拓扑结构。一种比较直接的拓扑结构是前馈网络。前馈神经网络（Feed...

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：数据与算法联盟人工神经元（Artifical Neuron）简称神经元（Neuron），是构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接受一组输入信息并产...

转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer公众号：数据与算法联盟支持向量机（Support Vector Machine，SVM）是一个经典两类分类算法，其找到的分割超平面具有更好的鲁棒性，因此广泛使用在很多任务上，并表...

感知机（Perceptron）是一种广泛使用的线性分类器，相当于最简单的人工神经网络，只有一个神经元。其全称是PLA（Perceptron Linear Algorithm），线性感知机算法。感知机是对生物神经元的简单数学模型，有与生物神经元相对应的部件，比如权重（突触）、偏置（阈值）及激活函数（细胞体），输出值为 +1 或者 -1。