Mixture-Rank Matrix Approximation（论文阅读笔记）

已于 2022-03-24 16:34:49 修改
阅读量2.1k 收藏
点赞数 2
文章标签： 机器学习 深度学习
于 2022-03-22 11:14:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44752117/article/details/123639510
版权

Mixture-Rank Matrix Approximation（论文阅读笔记）

MRMA can indeed weigh more complex models (e.g., rank=200) higher for movies with more ratings to prevent underfitting, and weigh less complex models (e.g., rank=20) higher for the movies with less ratings to prevent overfitting

论文总体读后感

这篇paper提出的是一种基于矩阵秩来获取近似矩阵的方法。
一方面是因为，前人所使用固定秩的方法，无法取得最好的近似矩阵，另一方面是因为现存的，从其他角度考虑选择子矩阵，虽然提升了性能，但并不是最优。
本文参考了MPMA（Mixture Probablity Matrix Approximation）的一些概念，考虑到不同rank的子矩阵是可以共存的，因此从秩的角度去获取近似矩阵。
实验表明，通过选择不同秩的组合，确实能够提升准确性。

现存的问题

  • 在现有的LRMA方法中，秩k被认为是固定的，即采用相同的秩来描述所有的user-item。
  • 然而，在现实世界，许多的user/item评级矩阵中，如莫维伦斯和Netflix，用户/项目的评级数量显著不同，因此具有不同rank的子矩阵是以共存的。
  • 例如，包含用户和评级很少的ratings的子矩阵应该具有较低的rank，例如10或20，而包含用户和具有较多ratings的项目的子矩阵应该具有相对较高的rank，例如50或100。
  • 对所有用户和项目采用固定的rank，不能完美地建模评级矩阵的内部结构，从而导致不完美的近似，推荐精度下降。

相关工作

PMF， BPMF , APG, GSMF，SMA 这些方法对目标用户项评级矩阵都只采用固定的秩值，是无法实现最优的矩阵近似的。
除了独立矩阵近似方法外，还提出了DFC、LLORMA、wemarec等集成方法以及混合模型，如MPMA等，根据不同的users/items，来考量不同的基础模型，以此提高推荐精度和/或可伸缩性。
但是上述方法，都从未考虑使用不同的秩来获得基础模型。
因此有了MRMA。

本文提出的方案

  • 对于每一个user/item，都用拉普拉斯概率分布来描述其与不同LRMA模型之间的关系。
  • 采用user/item对的联合分布来描述user-item评级与不同的LRMA模型之间的关系。
  • 针对与MRMA相关的非凸优化问题，提出了一种利用迭代条件模式(ICM)的学习算法，这种算法通过迭代地最大化每个变量的概率，得到联合概率的局部最大值。

问题推演

使用到的符号变量

R, U, V表示矩阵

对于目标user-item rating矩阵R∈Rm×n，m表示用户数，n表示项目数
k表示矩阵近似的秩(k要远小于n,m)
R(i,j)表示第i个用户对第j个项目的评分
ˆR(R of head)表示R的低秩近似矩阵
k-rank矩阵近似的一般目标是确定用户和项目的特征矩阵
U ∈ Rm×k,V ∈ Rn×k,such that R ≈ ˆR = （U点乘V的转置）

问题复现

In real-world rating matrices, e.g., Movielens and Netflix, users/items have a varying number of
ratings, so that a lower rank which best describes users/items with less ratings will easily underfit the
users/items with more ratings, and similarly a higher rank will easily overfit the users/items with less
ratings.

使用PMF分别在K=5/50的条件下，然后比较那些评分小于10分且评分超过50分的user/item的均方根误差(RMSEs)。
结果如下：

请添加图片描述

  • 如图所示，当rank=5时，user ratings小于10的user/tiem获得的RMSE低于rank=50时的情况。
  • 这表明，当k=为50时，PMF模型overfit了ratings小于10的user/tiem。
  • 此外，k=50的PMF比k=5的PMF获得了更低的RMSE（更高的准确性），但改进牺牲了用户和少量评级的项目，例如，小于10。

实验过程

  • 将MRMA分别用在三个数据集上： MovieLens 1M dataset；MovieLens 10M dataset ；Netflix
    Prize dataset
  • 将数据集按找9：1的比例随机划分为训练集和测试集
  • All results are reported by averaging over 5 different splits.
  • 使用RMSE衡量准确性
  • 用NDCG来measure the item ranking accuracy of different algorithms
  • convergence threshold = 0.00001,maximum number of iterations=300
  • 使用的rank是{10, 20, 30, …, 300}
  • 将结果与其它6个基于近似矩阵的协同过滤算法进行比较（ BPMF，GSMF，LLORMA，WEMAREC，MPMA， SMA）

MRMA中秩取值变化的影响

  • 从1，2，3,…,k这样选取秩，是既不必要，也十分低效的
  • a subset of ranks will be sufficient
  • RMSE decreases when more ranks are adopted in MRMA，because more ranks
    will help users/items better choose the most appropriate components
  • the computation time also increases when more ranks are adopted in MRMA

MRMA VS PMF

请添加图片描述

Mixture-Rank Matrix Approximation vs. Fixed-Rank Matrix Approximation

  • 给定一个固定的秩k，MRMA中对应的秩k模型与PMF相同
  • 比较在不同的rank下，MRMA和PMF的RMSE
  • 学习率是0.01,用户特征正则化因子是0.01,物品特征正则化因子是0.001
    请添加图片描述
  • 从左图观察发现，当K<=100时，PMF随着K的变化，其准确率也在不断波动，并不稳定。因为固定秩的近似矩阵不可能对所有用户和项目都是完美的，因此许多用户和项目在固定秩小于100的情况下是欠拟合的或过拟合的。
  • 当K>100时，K越大PMF的RMSE越小，因为正则化项可以帮助提高泛化能力。
  • 然而，所有等级的PMF的准确率都低于MRMA，因为个体用户/项目可以在MRMA中给具有最优等级的子模型更高的权重，从而缓解过拟合或过拟合。

未来可以尝试的方向

One of the possible extensions of this work is to incorporate other inference methods into learning the MRMA model, e.g., variational inference, because ICM may be trapped in local maxima and therefore cannot achieve global maxima without properly chosen initial values.

Terminology

LRMA（一种矩阵拆分的方法，将稀疏矩阵，转变为稠密矩阵）

  • Low-rank matrix approximation(LRMA)是当今CF methods中最流行的方法之一
  • 给定一个user-item rating matrix ∈Rm×n，LRMA的一般目标是使用SVD，基于给定的秩（这个秩也是要自己找的），找到两个秩=k的矩阵U∈Rm×k和V∈Rn×k，使得原user/item matrix拆分为两个新的子矩阵（两个新矩阵的乘积近似=原矩阵）。
  • 在分别获得用户和item的特征矩阵后，第j个item推荐给第i个用户，对应的推荐得分计算方法为，第i个用户的特征向量，点乘，第j个item的特征向量
  • 在这种方法中， rank k是固定的。

ICM

  • can obtain a local maximum of the joint probability by iteratively
    maximizing the probability of each variable conditioned on the rest.
  • a learning algorithm capitalizing on iterated condition modes
  • 处理与MRMA相关的非凸优化问题

非凸优化问题
实际建模中判断一个最优化问题是不是凸优化问题一般看以下几点：
请添加图片描述

NDCG（Normalized Discounted cumulative gain, 归一化折损累计增益）

  • 高关联度的结果比一般关联度的结果更影响最终的指标得分
  • 有高关联度的结果出现在更靠前的位置的时候，指标会越高

RMSE（Root Mean Square Error）均方根误差，越小越好
衡量观测值与真实值之间的偏差。
常用来作为机器学习模型预测结果衡量的标准。
请添加图片描述

non-trival在论文中的理解方法
The antonym nontrivial is commonly used by engineers and mathematicians to indicate a statement or theorem that is not obvious or easy to prove

SVD和ALS

爱吃辣锅的北极海豹
关注
51-11 多模态论文串讲—VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts 论文精读
AIgraphX
01-13 1410
VLMo 是一种多模态 Transformer 模型，即Mixture-of-Modality-Experts ，MoME，混合多模态专家。怎么理解呢？主流 VLP 模型分为两种，一种是双塔结构 (Dual Encoder)，主要用来做多模态检索任务；一种是单塔结构 (Fusion Encoder)，主要用来做多模态分类任务。VLMo 相当于是一个混合专家 Transformer 模型，预训练完成后，使用时既可以是双塔结构实现高效的图像文本检索，又可以是单塔结构成为分类任务。
【论文阅读】OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
qq_36643449的博客
03-10 5255
一、背景 神经网络的吸收信息的容量（capacity）受限于参数数目。 条件计算（conditional computation）针对于每个样本，激活网络的部分子网络进行计算，它在理论上已证明，可以作为一种显著增加模型容量的方法。 所以本文引入了稀疏门控专家混合层（Sparsely-Gated Mixture-of-Experts Layer），包括数以千计的前馈子网络。对于每一个样本，有一个可训练的门控网络（gating network）会计算这些专家（指前馈子网络）的稀疏组合。 二、模型结构 本文的条件
Low Rank Approximation
06-08
低秩估计的介绍数据，对低秩估计的原理，算法和应用进行了介绍
【RS】Local Low-Rank Matrix Approximation - LLORMA ：局部低秩矩阵近似
weixin_34220963的博客
10-09 1596
【论文标题】Local Low-Rank Matrix Approximation （icml_2013 ） 【论文作者】Joonseok Lee，Seungyeon Kim，Guy Lebanon ，Yoram Singer 【论文链接】Paper （9-pages // Double column）       【摘要】 　　矩阵近似是推荐系统、文本挖掘和计算机视觉的常用工具。构造矩阵...
视频前背景分离论文之（5） Robust PCA via Nonconvex Rank Approximation
鼹鼠的胡须 的博客
12-16 2444
1、AbstractRPCA是低秩矩阵恢复的general的模型框架， 在某些假设下它能够以很大的概率很好地恢复原矩阵潜在的低秩矩阵（the underlying true low rank matrix）的，然而，实际应用中这些假设并不一定成立 。在RPCA中核范数是通过将奇异值加和来逼近矩阵的秩的，即相当于求奇异值的ℓ1−norm\ell_{1}-norm. 这样得到的近似误差是不可忽略的，因此
论文笔记15：Hyperspectral Image Denoising via Noise-Adjusted Iterative Low-Rank Matrix Approximation
Hermite Lee的博客
10-13 753
基于HSIs的低秩性质，建立了patchwise低秩矩阵逼近(LRMA)。为了进一步从信号子空间中分离噪声，提出了一种迭代正则化框架。考虑到不同波段的噪声强度不同，采用了基于每个HSI波段噪声方差的自适应迭代因子选择。这种调整噪声的迭代策略可以有效地保留高信噪比波段，对低信噪比波段进行去噪处理。然后利用随机奇异值分解(RSVD)方法求解该优化问题。
矩阵低秩有何意义？
qq_24876435的博客
03-09 1万+
参考博客：https://blog.csdn.net/weixin_41894030/article/details/115699611 首先来思考，为什么叫“秩”？ 举个例子就很容易理解，大家排队买票。如果大家互相不认识，那就会一个排一个，非常有秩序。然而，如果突然来了一个与队伍前面的人认识的人，这个人又不自觉排队，非要插队。那后面的人肯定要有意见了，说你要是这样我前面 还有认识的人呢，你插我也插队，这样整个队伍就乱掉了， 谁也买不成。 通过这个例子，可以得到一下结论：彼此不认识，那就不相关，就有秩
【多模态】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 论文阅读及代码解析
qq_36643449的博客
05-18 592
一、MoE简介 MMoE是在MoE的基础之上，引入多任务而来，关于MoE的相关解读，可以参考我的另一篇博客：【论文阅读】Adaptive Mixtures of Local Experts 二、MMoE简介 关于MMoE的论文阅读在我的另一篇博客中已经讲到，具体可以参考：【推荐算法论文阅读】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts MMoE的模型结构如下图（c）所示： MMo
【推荐算法论文阅读】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
qq_36643449的博客
03-09 544
一、背景 如果做过推荐系统，就会发现在想要达成某些目标的时候，非得多任务一起上不可。就拿给用户推荐视频为例，我们既希望提高用户的点击率，同时也希望提高视频的播放时长，视频点赞、转发等等… 这些目标的达成并非是简单的相辅相成，更多的可能是相互竞争的关系。要是我们只让模型学习点击率，那么经过训练的模型推荐结果很可能导致标题党和封面党大行其道，真正的好的视频却被雪藏了，这显然不是我们希望看到的。而如果一味的追求高点赞，也可能就忽略了一些相对冷门的或新的佳作。这种对立，对于某些互联网巨头的黄赌毒APP来说尤为严重，
mixture-of-experts:混合Keras专家层
04-30
混合Keras专家层 该存储库包含实现专家模型的卷积和密集混合的Keras层。 专家层的密集混合物 文件DenseMoE.py包含一个DenseMoE.py层，该层实现了专家模型的密集混合： 该层可以与Dense层相同的方式使用。...
Low Rank Approximation_Algorithms, Implementation, Applications.pdf
08-08
做低秩矩阵分解、低秩Tensor分解、Matrix Completion、RobustPCA的朋友可以读一读
Low-Rank_Matrix_Factorization
09-04
对于噪声类型进一步的扩展，可以模拟多种噪声，从数据矩阵中消除这些噪声类型的影响 ，以恢复原数据
Low-Rank Matrix Approximation with Manifold Regularization-pre
最新发布
m0_72989909的博客
05-31 237
论文推导，也做复习笔记
低秩矩阵(Low-Rank)的意义
To be a better man
06-12 4226
比如一张大草原的图片可以理解为，草原是由很多草组成的，而草是相似的，所以如果全是草，那么这张图所包含的信息量是很少的的，因为可以理解为草是草的复制品。而图中的蒙古包，人，马之类的则可以理解为图片所包含的信息，实际上，相对于只有草的草原图片和有草和蒙古包的草原图片，后者的秩是较高的。所以总结的一点就是：如果矩阵表达的是结构性信息，例如图像、用户-商品推荐表等，那么这个矩阵各行之间存在一定的相关性，那这个矩阵一般是低秩的。所以，数学中定义，矩阵中最大的不相关的向量的个数，叫做秩，可以理解为有秩序的程度。
低秩矩阵分解
qq_33542428的博客
06-01 5475
低秩矩阵中低秩（Low-rank）的意义 1，问题的引出——对低秩矩阵分解中低秩的误解 论文《Privileged Matrix Factorization for Collaborative Filtering》是我在推荐系统研究方向上所读的第一篇论文（针对该篇论文，请看总结点击打开链接），当时对矩阵分解的理解是：评分矩阵X分解成两个隐特征矩阵U和V，U代表用户隐特征矩阵，V代表商品隐特征矩阵。U和V的隐因子向量的长度为k，其中k<<min{m,n}，自己也就理解成了分...
低秩矩阵分解（low-rank matrix factorization）
叫我咸鱼就好
03-08 1万+
何为低秩矩阵(low-rank matrix) 我们先来回忆下矩阵的秩。举个简单的例子： {&amp;nbsp;2x+3y+z=10&amp;nbsp;3x+y+z=7&amp;nbsp;6x+2y+2z=14 \begin{cases} \ 2x+3y+z=10\\ \ 3x+y+z=7\\ \ 6x+2y+2z=14 \end{cases} ⎩⎪⎨⎪⎧​&amp;nbsp;2x+3y+z=10&amp;nbsp;3x+y+z=...
机器学习——低秩矩阵分解中低秩的意义、矩阵填补、交叉验证
热门推荐
manduner的博客
06-04 4万+
        在研读论文《Matrix completion by deep matrix factorization》时，遇到了一些不明白的知识点，花费了大量时间在网上查阅相关资料，终于找到了能够让自己一看就一目了然的博文，下面的内容是我对所看到博文的一些修正总结。写这篇博文主要是为了以后查阅知识点能够更加方便快捷，也给予了自己要向所参考博文博主学习的希冀以及动力。当然，如果也能给大家带来方便...
低秩矩阵分解笔记（文献翻译分析）
weixin_43169116的博客
09-12 9227
低秩矩阵分解笔记 Notes on Low-rank Matrix Factorization Yuan Lu,Jie Yang 1.介绍 低秩矩阵分解（MF）是数据科学领域重要的技术。矩阵分解的关键是数据中存在潜在结构，我们通过发现这种潜在结构来获得数据的压缩表示。矩阵分解通过将一个原矩阵分解成低秩矩阵为降维、聚类、矩阵补全提供了一种统一的方法。 矩阵分解有几个非常好的特性：...
Generalized Low Rank Approximations of Matrices
开飞机的小毛驴儿
07-25 2263
前言 原文为叶杰平教授的一篇paper，下面内容为我对这篇文章的一个简单翻译、理解与总结，仅代表我个人看法，可能存在理解错误等问题，欢迎发邮件至jzwangATbjtuDOTeduDotcn讨论交流。 摘要 这篇文章研究了矩阵低秩近似的计算问题，创新在于本文所提出的方法是对一批（而不是一个）矩阵计算低秩近似。通过将该问题形式化为一个优化问题通过最小化重构误差进行求解。据作者所知，本文所提出的
MIXTURE-OF-EXPERTS
08-22
MTURE-OF-EXPERTS是一种推荐系统中的模型。它是一种多专家模型，可以将不同的专家的知识和能力结合起来，以提高推荐系统的性能。MMoE是MIXTURE-OF-EXPERTS的一种改进的模型。它引入了gate门函数来控制每个专家的权重输出。在MMoE实践过程中，发现了一个问题，即有时只有一个专家起作用，其权重被极化成001的形式。因此，MMoE是一种可以解决这个问题的改进的推荐模型。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [一文看懂推荐系统：排序02：Multi-gate Mixture-of-Experts (MMoE)](https://blog.csdn.net/weixin_46838716/article/details/126458980)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值