深度学习与推荐算法
文章平均质量分 93
沈子恒
计算机视觉 自然语言处理 推荐系统 架构设计
展开
-
HashMap底层实现和原理
本文是在阅读知乎老刘作品后的整理。内容基于JDK1.7进行分析,1.8做的改动文章末尾进行讲解。1. 基本要义1.1 概述Hashmap在Map派生中的位置HashMap基于Map接口实现,元素以键值对的方式存储,并且允许使用null键和null值,因为key不允许重复,因此只能有一个键为null,另外HashMap不能保...原创 2020-04-05 23:52:30 · 2383 阅读 · 1 评论 -
特征共线性问题
多重共线性是使用线性回归算法时经常要面对的一个问题。在其他算法中,例如决策树或者朴素贝叶斯,前者的建模过程时逐渐递进,每次都只有一个变量参与,这种机制含有抗多重共线性干扰的功能;后者假设变量之间是相互独立的。但对于回归算法来说,都要同时考虑多个预测因子,因此多重共线性不可避免。多重共线性(Multicollinearity)是指线性回归模型中的自变量之间由于存在高度相关关系而使模型的权重参数估...原创 2020-03-13 18:27:22 · 5093 阅读 · 0 评论 -
NDCG:推荐系统/搜索评价指标
本文转载自【胖喵】博主,详细请看https://www.cnblogs.com/by-dream/p/9403984.html 1. CG:累计增益CG,cumulative gain,只考虑到了相关性的关联程度,没有考虑到位置的因素。它是一个搜素结果相关性分数的总和。指定位置p上的CG为:reli代表i这个位置上的相关度。举例:假设搜索“篮球”结果,最理想的结果是:B1、B...转载 2020-03-07 16:17:43 · 4600 阅读 · 0 评论 -
热词抽取与话题发现系列(1):郝晓玲研究
1. 背景社区内容的数据挖掘方面主要可分为两大类:内容关联挖掘和用户关系挖掘, 热词/热点话题发现属于社区内容挖掘范畴,是指从大量的UGC文本中检测出用户广泛讨论的话题。涉及两个关键性技术:中文分词技术,中文话题发现技术。中文分词算法主要分为两种:一是基于语言规则的方法,即计算机可以通过自然语言的语法、词性等内部规则分析出文本正确含义并分词,判断文本串是否成词主要依赖词库。 主要方法包括:...原创 2019-10-20 14:11:43 · 4815 阅读 · 0 评论 -
ABtest用于推荐系统性能衡量
1. 背景介绍无法衡量就无法优化,对于互联网产品而言,不仅是推荐系统,整个 app 系统的更新迭代必然需要建立一套度量衡,来把控整个流程优化的方向。而 ABtest 系统就是一个很好的进行变量控制和优化方向选取的工具,循环:衡量 - 发现 - 迭代 - 验证。所谓精细化迭代是一种建立在数据基础上的思维方式——用较少的成本获得较好的效果。无数据,不优化, 线上分流实验是进行推荐算法优化的必由之路...转载 2019-10-13 19:48:24 · 6615 阅读 · 0 评论 -
协同滤波模型的推荐算法(ACM暑校-案例学习)
基于协同滤波的推荐技术可以细分为基于用户的协同过滤方法、基于产品的协同过滤方法、基于模型的协同过滤方法;本博文进行了一一测试。1. 数据准备、评价指标由于协同滤波模型需要用到用户的行为,这里选用MovieLen数据集进行测试研究。MovieLen是明尼苏达大学计算机科学系GroupLens研究中心开发和维护的,也是最常用于测试协同滤波算法性能的公开数据集之一。Movielens提供了大...原创 2019-05-19 19:04:56 · 4574 阅读 · 2 评论 -
混合模型的推荐算法(ACM暑校-案例学习)
单纯使用基于内容、基于知识或者协同滤波的推荐引擎已经越来越少了。 因为,基于内容的推荐技术面临“过度个性化缺少惊喜度”的缺点、基于协同过滤的推荐技术面临“冷启动”难题。因此,一种比较好的解决方案是融合多种推荐技术的优点,用基于内容的策略解决冷启动问题,用协同过滤策略解决用户惊喜度问题。博客旨在实践融合内容+协同过滤的混合推荐算法。1. 简介:Netflix的成功正如开篇提到的,混合推荐通过...原创 2019-05-24 17:07:15 · 6681 阅读 · 10 评论 -
最新研究前线-深度推荐系统真的有效吗?
1. 背景深度学习已经成为推荐系统领域的首选方法,但与此同时,已有一些论文指出了目前应用机器学习的研究中存在的问题,例如新模型结果的可复现性,或对比实验中基线的选择。这篇论文[Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches]发表在推荐系统顶级会议...翻译 2019-07-29 22:59:22 · 1442 阅读 · 0 评论 -
[Embeding-1]Efficient Estimation of Word Representations in Vector Space 译文
1. abstract我们提出了两种新的模型结构,用于计算非常大数据集中单词的连续矢量表示。这些表示的质量是在一个词相似性任务中测量的,并将结果与以前基于不同类型神经网络的最佳表现技术进行比较。我们观察到,在低得多的计算成本下,精度有了很大的提高,也就是说,从16亿字的数据集中学习高质量的字向量只需不到一天的时间。此外,我们还表明,这些向量在测试集上提供了最先进的性能,用于测量句法和语义词的相...原创 2019-08-25 18:47:50 · 3564 阅读 · 0 评论 -
[Embeding-2]文本表示学习-词嵌入入门理解
转载自Scofield Phil:http://www.scofield7419.xyz/2017/09/25/文本表示学习-词嵌入入门理解/之前一段时间,在结合深度学习做NLP的时候一直有思考一些问题,其中有一个问题算是最核心一个:究竟深度网络是怎么做到让各种NLP任务解决地如何完美呢?到底我的数据在NN中发什么了什么呢?并且,不少的terms like: 词向量、word embed...翻译 2019-08-27 01:34:14 · 749 阅读 · 0 评论 -
[Embeding-3]综述:词嵌入以及与分布式语义模型的关联
1. 前言近年来,在许多NLP任务中,无监督学习单词嵌入已经取得了巨大的成功。他们的效果如此之好,以至于在许多NLP体系结构中,几乎完全取代了更传统的分布式表示,如LSA特征和Brown聚类。可以看看2017的EMNLP和ACL会议,他们都及其关注词嵌入,即使最近的ACL Communication,也直言道词嵌入是NLP突破的催化剂,这时候我们不仅要仔细思考,词嵌入真的需要如此的大肆宣传...原创 2019-08-29 02:32:19 · 2263 阅读 · 0 评论 -
前深度学习时代CTR预估模型的演化之路 [王喆观点]
毕业于清华大学计算机系的王喆学长梳理从传统机器学习时代到深度学习时代所有经典CTR(click through rate)模型的演化关系和模型特点。内容来源:https://zhuanlan.zhihu.com/p/61154299。在互联网永不停歇的增长需求的驱动下,CTR预估模型(以下简称CTR模型)的发展也可谓一日千里,从2010年之前千篇一律的逻辑回归(Logistic Regress...原创 2019-05-01 15:18:41 · 4329 阅读 · 2 评论 -
Collaborative Filter - Data Mining基础(ACM暑校)
2003年,Amazon公司的Linden、Smith、York大佬刊发了一篇名为《Item-to-Item Collaborative Filtering》的文章;这篇文章首次解释了Amazon公司商品推荐系统的原理。从那时起,这类算法就一直主导着推荐领域。无论是Netflix、Amazon还是Facebook,每一个拥有大量用户群的网站或应用程序都会使用某种形式的协同过滤算法来推荐产品(可能是...原创 2019-05-08 19:12:57 · 1670 阅读 · 0 评论 -
用于文档上下文感知推荐的卷积矩阵分解
论文:Kim D H, Park C, Oh J, et al. Convolutional Matrix Factorization for Document Context-Aware Recommendation[C]. conference on recommender systems, 2016: 233-240. 实现代码:http://dm.postech.ac.kr/ConvMF...原创 2019-01-16 16:25:30 · 14517 阅读 · 0 评论 -
推荐常用算法之-基于内容的推荐(转自-BreezeDeus博主)
Collaborative Filtering Recommendations (协同过滤,简称CF) 是目前最流行的推荐方法,在研究界和工业界得到大量使用。但是,工业界真正使用的系统一般都不会只有CF推荐算法,Content-based Recommendations (CB) 基本也会是其中的一部分。 CB应该算是最早被使用的推荐方法吧,它根据用户过去喜欢的产品(本文统称为 it...原创 2019-02-13 23:32:35 · 13960 阅读 · 0 评论 -
推荐系统-应用Pandas进行数据处理
1. PANDASPANDAS是一个包,它使我们能够访问高性能、易于使用的工具和数据结构,以便在Python中进行数据分析。 Python是一种运行很慢的语言。PANDAS通过使用C编程语言实现大量优化来克服这一问题。它还允许我们访问Series和DataFrame,这是从R统计包中导入的两个非常强大且用户友好的数据结构。 PANDAS还使从外部文件导入数据到Python环境变得轻而易举。...原创 2019-04-12 15:18:05 · 11451 阅读 · 0 评论 -
注意力机制最新综述解读
注意力模型(Attention Model,AM)已经成为神经网络中的一个重要概念,并在不同的应用领域进行了充分的研究。这项调查提供了一个结构化和全面的概述关于attention的发展。我们回顾了注意力机制被纳入的不同的神经网络结构,并展示了注意力如何提高神经网络的可解释性。最后,我们讨论了在实际应用中,注意力机制取得的重要影响。我们希望这项调查能够为注意力模型提供一个简明的介绍,并在开发应用方法...原创 2019-04-16 18:02:24 · 190105 阅读 · 13 评论 -
基于知识的推荐系统(案例学习)
1. 简单的流程knowledge-based推荐系统没有考虑特殊用户的偏好;也没有尝试去推断不同电影之间的相似性。以Internet Movie Database (IMDB)为例,基本流程可以概述为:选择度量(或评分标准)为电影打分 决定电影在排行榜上出现的先决条件 计算每一部满足条件的电影的得分 按照分数的递减顺序输出电影列表2. 度量 metric以电影推荐为例:如果一...原创 2019-04-13 20:10:48 · 13731 阅读 · 1 评论 -
十大开源推荐系统简介 [转自oschina]
最近这两年推荐系统特别火,本文搜集整理了一些比较好的开源推荐系统,即有轻量级的适用于做研究的SVDFeature、LibMF、LibFM等,也有重 量级的适用于工业系统的 Mahout、Oryx、EasyRecd等。PS:这里的top 10仅代表oschina观点。1. SVDFeature上海交通大学 Apex实验室 【C++】项目主页:http://svdfeature.apex...原创 2019-04-21 16:26:19 · 22796 阅读 · 3 评论 -
推荐系统常用术语 [ACM暑校]
1. 推荐系统推荐系统相当于信息的“过滤器”,它旨在解决信息过载的问题,帮助人们更好地作出决策。它的主要原理是根据用户过去的行为(比如购买、评分、点击等)来建立用户兴趣模型,之后利用一定的推荐算法,把用户最可能感兴趣的内容推荐给用户,如下图:召回(recall)从海量(数千万)item中粗选出几百或者上千的候选集的过程,可以理解为向用户粗选一批待推荐的商品。排序(sort)从召...原创 2019-04-21 17:02:24 · 12660 阅读 · 1 评论 -
基于内容的推荐(ACM暑校-案例学习)
基于知识的推荐系统,根据发行时间、题材和持续时间进行电影推荐。这些系统非常简单,推荐系统没有充分考虑到个人用户的偏好。由于基于知识的推荐系统确实考虑了用户对题材、发行时间和持续时间的偏好,基于知识的推荐仍然非常通用。想象一下爱丽丝喜欢《黑暗骑士》、《钢铁侠》、《钢铁侠》。很明显爱丽丝喜欢超级英雄电影。然而,基于知识的推荐系统模型无法捕获这个细节。它能做的最好的就是推荐动作片(通过使爱丽丝输入动...原创 2019-04-25 22:49:24 · 12981 阅读 · 2 评论 -
基于内容推荐系统中的常识 [ACM暑校]
How to represent content to improve information access and build a new generation of services for user modeling and recommender systems?1. 内容主旨Why? ...... 1. Why do we need intelligent informat...原创 2019-04-17 22:42:19 · 11793 阅读 · 0 评论 -
深度学习CTR模型最全演化图谱 [王喆观点]
毕业于清华大学计算机系的王喆学长回顾了近3年来的所有主流深度学习CTR (click through rate) 模型,并梳理推荐系统、计算广告领域在深度学习方面的前沿进展。内容来源:https://zhuanlan.zhihu.com/p/63186101随着微软的Deep Crossing,Google的Wide&Deep,以及FNN,PNN等一大批优秀的深度学习CTR预估模型在2...原创 2019-05-02 13:27:45 · 7015 阅读 · 3 评论 -
基于深度学习的推荐系统:综述与新视角
原文:Deep Learning based Recommender System: A Survey and New Perspectives作者:张帅, 新南威尔士大学翻译:沈春旭,清华大学 随着在线信息量的不断增加,推荐系统已经成为克服这种信息过载的有效策略。推荐系统的效用无论如何强调都不过分,因为它在许多Web应用程序中被广泛采用,以及它对于改善与过度选择相关的许多问题的潜在...原创 2018-12-27 10:13:46 · 24868 阅读 · 1 评论