NMF算法推导

最新推荐文章于 2024-06-06 20:24:01 发布
最新推荐文章于 2024-06-06 20:24:01 发布
阅读量2.1k 收藏 19
点赞数 7
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mch2869253130/article/details/100993632
版权

推荐一个博客大牛：
文本主题模型之非负矩阵分解(NMF)

V m ∗ n ≈ W m ∗ r H r ∗ n V_{m*n} \approx W_{m*r}H_{r*n} Vm∗n​≈Wm∗r​Hr∗n​

NMF有两种推导方法一种是欧氏距离，另一种是KL散度。

基于欧式距离推导

在这里插入图片描述
在这里插入图片描述

基于KL散度推导

在这里插入图片描述

风吹草地现牛羊的马
关注
  • 7
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
NMF算法和应用
11-12
NMF原理和常用算法介绍 乔治亚理工课件 非常不错
非负矩阵分解推导（NMF）
qq_35629171的博客
10-31 983
NMF
NMF算法
最新发布
qq_25368751的博客
06-06 988
NMF算法的原理是找到一个分解矩阵，将原始非负数据投影到新的空间中，新空间的每个维度（基础矩阵）都与原始数据的维度正交，并且第一个基础矩阵具有最大的活跃度（即能解释数据中最多的信息），第二个基础矩阵具有第二大的活跃度，且与第一个基础矩阵正交，依此类推。NMF是一种数据降维模型，它的基本模型是通过矩阵分解将非负数据转换到新的空间，这个新空间的坐标轴（基础矩阵）按照数据的活跃度排序，活跃度越高的基础矩阵能保留更多的数据信息。NMF能够减少数据的维度，去除冗余信息，帮助我们从高维非负数据中提取出最重要的特征。
【机器学习】NMF(非负矩阵分解)
AAI666666的博客
03-01 2165
本篇文章主要介绍NMF算法原理以及使用sklearn中的封装方法实现该算法，最重要的是理解要NMF矩阵分解的实际意义，将其运用到自己的数据分析中！
LSI（SVD）、NMF的理解及推导
赵小越的博客
08-08 1242
       主题模型，是一种语言模型，是对于文字中隐含的主题的一种建模的方法。对于主题模型的副产品，一个很重要的应用在于用主题模型方法来抽取词向量，其中，LSI方法是词向量分布式表示方法中的syntagmatic model中的典型代表，利用了词之间的共现情况，也就是利用到了相似的词出现的语境类似的特性，然后得到词向量的表述，是一种基于矩阵（基于计数）的词向量抽取模式。 ...
M-NMF的matlab实现
05-28
论文community preserving network embedding的matlab实现 可以直接测试texas,cornell等数据集
完整的NMF算法资料，有说明文件，有代码，也有运行案例。是非常不错的学习NMF的资料
03-14
本资料包提供了全面的NMF学习资源，包括说明文件、源代码以及运行案例，旨在帮助初学者和进阶者深入理解和实践NMF算法。 NMF的基本思想是将一个非负的矩阵V分解为两个非负矩阵W和H的乘积，即V = WH。这种分解方法在...
NMF算法.rar_NMF算法_nmf_非负矩阵分解
09-23
NMF算法的优势在于其非负性约束，使得结果更易于解释。在许多实际应用中，数据的非负性是非常自然的属性，如图像像素值、生物信息学中的基因表达量等。通过NMF，我们可以发现数据的潜在结构，同时保持各因素之间的正...
改进NMF算法
03-14
一种改进的非负矩阵分解NMF算法，具有不错的效果.
盲源分离NMF算法程序
01-12
非负矩阵分解(Nonnegative Matrix Factor)，简称NMF，是由Lee和Seung于1999年在自然杂志上提出的一种矩阵分解方法 [1] ，它使分解后的所有分量均为非负值(要求纯加性的描述)，并且同时实现非线性的维数约减。NMF已...
推荐算法之NMF算法
给我一点温度
09-06 5736
在例如Netflix或MovieLens这样的推荐系统中，有用户和电影两个集合。给出每个用户对部分电影的打分，希望预测该用户对其他没看过电影的打分值，这样可以根据打分值为其做出推荐。 NMF（non-negative matrix factorization）的基本思想可以简单描述为：对于任意给定的一个非负矩阵A，NMF算法能够寻找到一个非负矩阵U和一个非负矩阵V，将一个非负的矩阵分解为左右...
KL_nmf.rar_KL_KL散度_NMF收敛性_kl 散度_散度算法
07-14
基于KL散度的NMF算法的实现，收敛性证明可以参考：Lee D D, Seung H S. Algorithms for Non-negative Matrix Factorization[C]// NIPS. 2000:556--562.
nmf的matlab代码-bnmf:贝叶斯NMF工具箱（BNMF-Tool）实现了KL散度的贝叶斯NMF
05-26
nmf的matlab代码bnmf 贝叶斯NMF工具包（BNMF-Tool）为Matlab中的KL发散实现了贝叶斯NMF。 贝叶斯NMF工具箱（BNMF-Tool）实现了针对以下方面的KL散度的贝叶斯NMF： N. Mohammadiha，P。Smaragdis和A. Leijon，“使用非负矩阵分解的有监督和无监督语音增强方法”，IEEE Trans。 音频，语音和语言处理，第1卷。 21号10，第2140–2151页，2013年10月： 该实现基于包含所有相关功能的NMF类（@NMF）。 在demo.m中演示了该类的用法，其中BNMF用于建议的有监督和无监督降噪。在Matlab中运行演示时，请确保包含@NMF的目录在Matlab搜索路径中。 阅读用户指南文件以获取代码说明。
基于Frobenius范数的标准NMF更新公式推导
a2011607的博客
12-29 1118
目标函数 在标准非负矩阵分解中，其目标函数很简单，形式为，其中V为观测矩阵，W为基矩阵，H为表示矩阵, 这里假设V为m×n维的，W为m×l维的，H为l×n维的。 更新公式推导\sum_{i,j}^{ }(V_{ij}-(WH)_{ij})^{2} 其更新公式是基于梯度下降法，因此第一步就是要将目标函数分别对矩阵变量W和H求偏导，求出偏导后根据更新矩阵W，根据来更新矩阵H。 更新矩阵W 先对W中的变量求偏导 （链式求导法则） 故更新公式为 令，带入上式中可得 ...
非负矩阵分解NMF(2): 拟牛顿法及其他方法
OldDriver1995的博客
12-04 705
文章目录写在前面逆牛顿法(Quasi-Newton method)公式推导代码实现其他方法公式推导代码实现 写在前面 在之前的一篇文章中非负矩阵分解（1） 已经介绍了NMF的基本概念，数学基础以及代码实现，这里不再对NMF基本概念做更多讲解，建议先看完（1）再看这篇。 实现非负矩阵分解主要两种方法，一个是梯度下降法，一个是乘法迭代法，乘法迭代可以看作是梯度下降的一种变形。文章（1）中使用的就是乘法迭代，而这一篇的重点则是梯度下降 逆牛顿法(Quasi-Newton method) 公式推导 理论参考至《矩阵
非负矩阵分解——NMF (2)
theagao&leozhang
09-18 2146
本文非负矩阵分解（Nonegative matrix factorization，NMF）系列第二篇，主要介绍最基本的NMF原理及代码实现，内容主要包括： 　　1）基于Euclidean距离的NMF推导及实现； 　　2）基于KL散度的NMF推导及实现； 　　3）NMF应用示例 开始之前，有两点需要补充： 前面分析用的是X=AS形式，感觉别扭，好多文章都是用V = WH，后续打算也采用这...
人工智能（无监督学习-降维）——非负矩阵分解（NMF）
2401_84003941的博客
04-09 1165
2 矩阵分解优化目标3 案例4 代码实现（Python）#1. 建立工程，导入sklearn相关工具包：=from numpy.random import RandomState #加载RandomState用于创建随机种子import matplotlib.pyplot as pltfrom sklearn.datasets import fetch_olivetti_faces #加载Olivetti人脸数据集导入函数from sklearn import decomposition #加载PCA
机器学习100天---day06 NMF非负矩阵分解
向阳争渡
09-30 311
NMF，非负矩阵分解。这种方法只能应用于每个特征都是非负的数据。 基本思想：将大矩阵分解成两个小矩阵，使两个小矩阵相乘后能够尽可能的还原成大矩阵。 公式为：Vn∗m=Wn∗k∗Hk∗m W矩阵：基础数据矩阵，相当于从V中抽取出K个特征，每一列表示一个特征，每行表示一个对象(比如：用户，图像像素)；它们的值表示用户与这一特征的相关性； H矩阵：系数矩阵，表示系数m与特征k之间的关联。 矩阵优化目标:...
KL散度，JS散度，余弦距离，欧式距离
weixin_41012399的博客
06-07 3207
散度：描述两个变量之间的关系 GAN是最小化JS散度 VAE是最小化KL散度 KL散度（不对称）： JS散度（对称）：
NMF算法 python实现
03-31
NMF算法（非负矩阵分解）是一种常用的数据降维方法，可以将一个大矩阵分解为两个小矩阵的乘积，其中这两个小矩阵中的元素都是非负的。NMF算法的一个应用是图像压缩，可以将一张彩色图片分解为三个非负矩阵，分别表示红、绿、蓝三个通道的像素值。 以下是NMF算法的Python实现： ```python import numpy as np def nmf(X, k, max_iter=1000, tol=1e-6): """ 非负矩阵分解 :param X: 待分解矩阵，shape为(m, n) :param k: 分解后矩阵的秩 :param max_iter: 最大迭代次数 :param tol: 收敛阈值 :return: 分解后的矩阵W和H """ m, n = X.shape # 随机初始化W和H W = np.random.rand(m, k) H = np.random.rand(k, n) # 迭代更新W和H for i in range(max_iter): # 更新H numerator = np.dot(W.T, X) denominator = np.dot(np.dot(W.T, W), H) + 1e-9 # 避免除0错误 H *= numerator / denominator # 更新W numerator = np.dot(X, H.T) denominator = np.dot(W, np.dot(H, H.T)) + 1e-9 # 避免除0错误 W *= numerator / denominator # 计算误差 err = np.sum((X - np.dot(W, H)) ** 2) if err < tol: break return W, H ``` 使用示例： ```python import matplotlib.pyplot as plt from sklearn.datasets import load_digits # 加载手写数字数据集 digits = load_digits() X = digits.data # 非负矩阵分解 W, H = nmf(X.T, k=30) # 显示分解后的结果 plt.figure(figsize=(10, 4)) for i in range(30): plt.subplot(3, 10, i + 1) plt.imshow(W[:, i].reshape(8, 8), cmap='gray') plt.axis('off') plt.show() ``` 上述示例代码中，使用sklearn.datasets模块加载手写数字数据集，并对其进行非负矩阵分解，得到分解后的矩阵W和H。最后将W中的每一列作为一张图片进行展示。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值