关闭

揭秘Keras推荐系统如何建立模型、获取用户爱好

1177人阅读 评论(0) 收藏 举报
分类:

你是否有过这样的经历?当你在亚马逊商城浏览一些书籍,或者购买过一些书籍后,你的偏好就会被系统学到,系统会基于一些假设为你推荐相关书目。为什么系统会知道,在这背后又藏着哪些秘密呢?

          图片描述
 
  荐系统可以从百万甚至上亿的内容或商品中把有用的东西高效地显示给用户,这样可以为用户节省很多自行查询的时间,也可以提示用户可能忽略的内容或商品,使用户更有黏性,更愿意花时间待在网站上,从而使商家赚取更多的利润,即使流量本身也会使商家从广告中受益。
  
  那么推荐系统背后的魔术是什么呢?其实任何推荐系统本质上都是在做排序。

  你可能注意到了,排序的前提是对喜好的预测。那么喜好的数据从哪里来呢?这里有几个渠道,比如你和产品有过互动,看过亚马逊商城的一些书,或者买过一些书,那么你的偏好就会被系统学到,系统会基于一些假设给你建立画像和构建模型。你和产品的互动越多,数据点就越多,画像就越全面。除此之外,如果你有跨平台的行为,那么各个平台的数据汇总,也可以综合学到你的偏好。比如谷歌搜索、地图和应用商城等都有你和谷歌产品的互动信息,这些平台的数据可以通用,应用的场景有很大的想象力。平台还可以利用第三方数据,比如订阅一些手机运营商的数据,用来多维度刻画用户

那推荐系统又是如何建立模型、知道用户爱好的?作者提供了两种重要的算法:矩阵分解模型和深度模型,快来一起探个究竟吧!

1.矩阵分解模型

  矩阵分解可以认为是一种信息压缩。这里有两种理解。第一种理解,用户和内容不是孤立的,用户喜好有相似性,内容也有相似性。压缩是把用户和内容数量化,压缩成 k 维的向量。把用户向量维度进行压缩,使得向量维度变小,本身就是信息压缩的一种形式;向量之间还可以进行各种计算,比如余弦(Cosine)相似性,就可以数量化向量之间的距离、相似度等。第二种理解,从深度学习的角度,用户表示输入层(User Representation)通常用 One Hot编码,这没问题,但是通过第一层全连接神经网络就可以到达隐藏层,就是所谓的嵌入层(Embedding Layer),也就是我们之前提到的向量压缩过程。紧接着这个隐藏层,再通过一层全连接网络就是最终输入层,通常用来和实际标注数据进行比较,寻找差距,用来更新网络权重。从这个意义上讲,完全可以把整个数据放进神经系统的框架中,通过浅层学习把权重求出来,就是我们要的向量集合了。经过这么分析,矩阵分解在推荐系统中是如何应用的就显而易见了。
  
  这两种情形都可以用矩阵分解来解决。假设数据库里m 个用户和 n 部电影,那么用户电影矩阵的大小就是 m×n。每个单元 (i,j) 用R ij 表示用户是否看了该电影,即0 或 1。我们把用户和电影用类似 Word2Vec 的方法分别进行向量表示,把每个用户 i 表示成 d 维向量 X i ,把每部电影 j 表示成 d 维向量 Y j 。我们要寻找 X i 和 Y j ,使得 X i ×Y j和用户电影矩阵 R ij 尽可能接近,如图所示。这样对于没出现过的用户电影对,通过 X i ×Y j 的表达式可以预测任意用户对电影的评分值。
  
            图片描述
           

  用数学表达式可以这么写:
           图片描述
  注意:这里d 是一个远小于m; n 的数。从机器学习的角度来说,模型是为了抓住数据的主要特征,去掉噪声。越复杂、越灵活的模型带来的噪声越多,降低维度则可以有效地避免过度拟合现象的出现。

2.深度神经网络模型

  下面展示进阶版的深度模型。我们将建立多层深度学习模型,并且加入 Dropout技术。
  
  这个模型非常灵活。因为如果有除用户、电影之外的数据,比如用户年龄、地区、电影属性、演员等外在变量,则统统可以加入模型中,用嵌入的思想把它们串在一起,作为输入层,然后在上面搭建各种神经网络模型,最后一层可以用评分等作为输出层,这样的模型可以适用于很多场景。深度模型的的架构如下图所示。
  
             图片描述
           
  首先,做用户和电影的嵌入层。

1 k = 128
2 model1 = Sequential()
3 model1.add(Embedding(n_users + 1, k, input_length = 1))
4 model1.add(Reshape((k,)))
5 model2 = Sequential()
6 model2.add(Embedding(n_movies + 1, k, input_length = 1))
7 model2.add(Reshape((k,)))

  第三个小神经网络,在第一、二个网络的基础上把用户和电影向量结合在一起。

1 model = Sequential()
2 model.add(Merge([model1, model2], mode = 'concat'))

  然后加入Dropout 和relu 这个非线性变换项,构造多层深度模型。

1 model.add(Dropout(0.2))
2 model.add(Dense(k, activation = 'relu'))
3 model.add(Dropout(0.5))
4 model.add(Dense(int(k/4), activation = 'relu'))
5 model.add(Dropout(0.5))
6 model.add(Dense(int(k/16), activation = 'relu'))
7 model.add(Dropout(0.5))

  因为是预测连续变量评分,最后一层直接上线性变化。当然,读者可以尝试分类问
题,用Softmax 去模拟每个评分类别的概率。

model.add(Dense(1, activation = 'linear'))

  将输出层和最后的评分数进行对比,后向传播去更新网络参数。

model.compile(loss = 'mse', optimizer = "adam")

  接下来要给模型输入训练数据。

  首先,收集用户索引数据和电影索引数据。

1 users = ratings['user_id'].values
2 movies = ratings['movie_id'].values

5 推荐系统

  收集评分数据。

label = ratings['rating'].values

  构造训练数据。

1 X_train = [users, movies]
2 y_train = label

  然后,用小批量更新权重。

model.fit(X_train, y_train, batch_size = 100, epochs = 50)

  模型训练完以后,预测未给的评分。

1 i,j = 10,99
2 pred = model.predict([np.array([users[i]]), np.array([movies[j]])])

  最后,对训练集进行误差评估。

1 sum = 0
2 for i in range(ratings.shape[0]):
3 sum += (ratings['rating'][i] - model.predict([np.array([ratings['user_id'
][i]]), np.array([ratings['movie_id'][i]])])) ** 2
4 mse = math.sqrt(sum/ratings.shape[0])
5 print(mse)

  训练数据的误差在0.8226 左右,大概一个评分等级不到的误差。

  你可能会问,为什么这个误差和之前矩阵分解的浅层模型误差的差距比较大?作者的理解是,这里的Dropout 正则项起了很大的作用。虽然我们建了深层网络,但是由于有了Dropout 这个正则项,必然会造成训练数据的信息丢失(这种丢失会让我们在测试数据时受益)。就好比加了L1, L2 之类的正则项以后,估计的参数就不是无偏的了。因此,Dropout 是训练误差增加的原因,这是设计模型的必然结果。但是,需要记住的是,我们始终要对测试集上的预测做评估,训练集的误差只是看优化方向和算法是否大致有效。
  
  本文选自《Keras快速上手:基于Python的深度学习实战》,点此链接可在博文视点官网查看此书。
  
                    图片描述
  想及时获得更多精彩文章,可在微信中搜索“博文视点”或者扫描下方二维码并关注。
                        图片描述

2
0
查看评论

当推荐系统遇上深度学习

Deep Learning Meets Recommendation Systems 深度学习 推荐系统 电影海报
  • somTian
  • somTian
  • 2017-05-10 11:57
  • 7541

推荐系统

本文结构: 1. 推荐系统 2. 常用方法 1. 简介 2. 模型 cost, gradient 表达式 3. 代码实现 3. 应用实例参考: Coursera-Andrew Ng 的 Machine Learning Sirajology 的 Recomme...
  • aliceyangxi1987
  • aliceyangxi1987
  • 2017-05-02 11:35
  • 4681

【推荐算法】推荐系统——算法概述

前言 这一系列文章会来介绍推荐算法,也是我边学习边分享的过程,之前有接触过,但这次会较为系统的学习研究,所以打算把自己学到的东西整理成文章,如果有疏漏之处还请指出。 个人认为推荐算法是机器学习领域中应用最广、也是最具有商业价值的,电商领域可以发现潜在用户、增加购买率、提高商品曝广度、增加销售额,...
  • roguesir
  • roguesir
  • 2018-01-09 11:07
  • 47

文章学习《使用深度学习Keras和TensorFlow打造一款音乐推荐系统》

本文仅是博主自己用来用来整理留存的摘录,如对题目感兴趣,请阅读原文。 原文地址 https://zhuanlan.zhihu.com/p/28310437 国内做得好的音乐APP网易云、虾米音乐和QQ音乐都会推荐喜欢的音乐。 推荐算法是计算机专业中的一种算法,通过一些数学算法,推测出用户...
  • jianyuchen23
  • jianyuchen23
  • 2017-08-10 11:33
  • 612

keras创建模型

关于Keras模型Keras有两种类型的模型,序贯模型(Sequential)和函数式模型(Model),函数式模型应用更为广泛,序贯模型是函数式模型的一种特殊情况。Sequential models:这种方法用于实现一些简单的模型。你只需要向一些存在的模型中添加层就行了。Functional AP...
  • jiandanjinxin
  • jiandanjinxin
  • 2017-08-15 09:49
  • 1231

推荐算法从入门、进阶到高级

推荐的算法的重要性我就不多说了,反正是各种重要。 最近一段时间结合部门业务,我仔细的研究了各种推荐算法,在此我会附上相应的书籍和文献,帮助大家迅速的入门进阶,最终进入推荐算法的高手行列。 推荐算法分为:1.协同的推荐算法;2.基于内容的推荐算法;3.混合的推荐算法 在甩干货之前,补充一些常识,感觉我...
  • love_data_scientist
  • love_data_scientist
  • 2017-09-03 00:14
  • 492

GitChat · 人工智能 | 如何零基础用 Keras 快速搭建实用深度学习模型

GitChat 作者:谢梁 关注微信公众号:GitChat 技术杂谈 ,一本正经的讲技术 在这篇小文章中,我们将简要讨论如何使用KERAS这个现在最新的深度学习框架来构造实用的深度学习模型。深度学习是目前最热门的高级分析技术之一,在很多方面表现出了超越传统机器学习方法的有效性。但是在常用的Te...
  • GitChat
  • GitChat
  • 2017-09-08 13:39
  • 2402

搜集的十大开源推荐算法

搜集的十大协同过滤算法,仅供参考 #1.SVDFeature 主页:http://svdfeature.apexlab.org/wiki/Main_Page 语言:C++ 一个feature-based协同过滤和排序工具,由上海交大Apex实验室开发,代码质量较高。在...
  • u010159842
  • u010159842
  • 2015-07-14 15:48
  • 3226

揭秘Keras推荐系统如何建立模型、获取用户爱好

你是否有过这样的经历?当你在亚马逊商城浏览一些书籍,或者购买过一些书籍后,你的偏好就会被系统学到,系统会基于一些假设为你推荐相关书目。为什么系统会知道,在这背后又藏着哪些秘密呢?                荐系统可以从百万甚至上亿的内容或商品中把有用的东西高效地显示给用户,这样可以为用户节省...
  • broadview2006
  • broadview2006
  • 2017-08-08 14:45
  • 1177

GitChat · 人工智能 | 如何零基础用 Keras 快速搭建实用深度学习模型

GitChat 作者:谢梁 关注微信公众号:GitChat 技术杂谈 ,一本正经的讲技术 在这篇小文章中,我们将简要讨论如何使用KERAS这个现在最新的深度学习框架来构造实用的深度学习模型。深度学习是目前最热门的高级分析技术之一,在很多方面表现出了超越传统机器学习方法的有效性。但是在常用的Te...
  • GitChat
  • GitChat
  • 2017-09-08 13:39
  • 2402
    个人资料
    • 访问:3925593次
    • 积分:56512
    • 等级:
    • 排名:第57名
    • 原创:1462篇
    • 转载:83篇
    • 译文:1篇
    • 评论:3786条
    博客专栏
    文章存档
    最新评论