瑞利商 瑞利熵

已于 2022-04-18 19:49:15 修改
阅读量6.1k 收藏 8
点赞数 1
分类专栏： 机器学习 独门秘籍 文章标签： 机器学习 算法
于 2020-11-09 21:26:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/anthea_luo/article/details/109586596
版权

瑞利商  Rayleigh quotient 
瑞利熵  renyi entropy      也称Rényi熵  瑞丽熵


瑞利商  定义为函数R(A,x): R(A, x) = \frac{x^{H}Ax}{x^{H}x}
其中A为nxn的实对称矩阵（其实原定义中是埃尔米特矩阵，不过机器学习中遇不到复数所以就保留在实对称矩阵了）

这是一个关于向量x的函数， 它的最大值和最小值 分别对应着 A的最大特征值和最小特征值 这也是瑞利商很重要的一个性质
瑞利商经常出现在降维和聚类任务中，因为降维聚类任务往往能导出 最大化最小化瑞利商的式子，进而通过特征值分解的方式找到降维空间
而 p(拉普拉斯矩阵, 瑞利商) 这个联合概率比较高，详细可以直接搜一下 这两个关键字。 大体是因为 拉普拉斯矩阵 本质是一种基于欧氏距离的测度，构造出来的二次型转为拉氏矩阵，转为瑞利商的问题。


而Rényi熵是Hartley熵，Shannon熵，碰撞熵和最小熵的推广。

H = \frac{1}{1-q}ln \sum_{i=1}^{N} p_{i}^{q}
当q趋近0，含义是与概率密度无关，更加平等的衡量 所有可能的事件
当q=0时， R (q)=log(n) 即计算出了元素的个数的对数
当q=1时， 就是香农熵

二者之间应该没有直接的关联。只是我之前以为只有一个这样的概念，都还有个广义瑞利商/熵.. 中文名字太像了，刚开始对不起来时 我以为人家写的是错别字.. 然后，有些真的是错别字..

本文参考了包括但不限于： https://zhuanlan.zhihu.com/p/58718563

anthea_luo
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
简单公式推导笔记（1）——瑞利熵
滦水寒阳的博客
03-13 1223
请推导瑞利熵的上下界分别为R的最小与最大特征值，即 答：设 实对称矩阵R的特征值（实数）按大小顺序设 对应的标准正交特征向量系设为 任取0≠x∈R^n，则 于是有 令 则 且 由此可得 容易验证 故 ...
瑞丽熵 (Rayleigh quotient) 两种启发式证明
B417科研笔记
01-03 4271
瑞丽商定义如下： R(A,x)=x∗Axx∗x R(A, x)=\frac{x^{*} A x}{x^{*} x} R(A,x)=x∗xx∗Ax​ 其中矩阵AAA为n×nn \times nn×n的对称矩阵（Hermitian)。 有： max⁡x≠0xHAxxHx=max⁡xHx=1xHAxxHx=λmaxmin⁡x≠0xHAxxHx=min⁡xHx=1xHAxxHx=λmin \begin{a...
谱图理论（Spectral and Algebraic Graph Theory）| Chapter2: Eigenvalues and Optimization
qq_42352772的博客
02-14 535
《Spectral and Algebraic Graph Theory 》第二章Ch2: Eigenvalues and Optimization: The Courant-Fischer Theorem中的内容。
瑞丽熵（renyi entropy）
weixin_30670965的博客
01-13 8210
在信息论中，Rényi熵是Hartley熵，Shannon熵，碰撞熵和最小熵的推广。熵能量化了系统的多样性，不确定性或随机性。Rényi熵以AlfrédRényi命名。在分形维数估计的背景下，Rényi熵构成了广义维数概念的基础。 Rényi熵在生态学和统计学中是重要的多样性指标。Rényi熵在量子信息中也很重要，它可以用来衡量纠缠。在Heisenberg XY自旋链模型中，作为α的函数的Rén...
瑞利熵和广义瑞利熵
热门推荐
wyl1813240346的博客
11-16 2万+
此内容转载于这篇博客 我们首先来看看瑞利商的定义。瑞利商是指这样的函数R(A,x)R(A,x): R(A,x)=xHAxxHxR(A,x) = \frac{x^HAx}{x^Hx}　　　　其中xx为非零向量，而AA为n×nn \times n的Hermitan矩阵。所谓的Hermitan矩阵就是满足共轭转置矩阵和自己相等的矩阵，即AH=AA^H=A。如果我们的矩阵A是实矩阵，则满足AT=AA^T=
【记录读论文时遇到的一些算法6】—— 谱定理 & 瑞利熵
yuanmiyu6522的博客
05-19 523
The Spectral Theorem: 谱定理 & Rayleigh Quotients: 瑞利熵1.谱定理2.瑞利熵 1.谱定理 假设A∈Rn,n\mathbf{A} \in R^{n, n}A∈Rn,n是一个实对称矩阵，λi∈R,i=1,2,⋯ ,n\lambda_{i} \in R, i=1,2, \cdots, nλi​∈R,i=1,2,⋯,n 是 A\mathbf{A}A的特征值，ui∈Rn,i=1,2,⋯ ,nu_{i} \in R_{n}, i=1,2, \cdots, nui​∈
6.16 Rayleigh商
你的指尖有改变世界的力量
02-11 1723
介绍了Rayleigh商的定义以及埃尔米特阵的Rayleigh商与特征值的关系。
初步了解Renyi熵
ac17407的专栏
12-22 1万+
最近接触了Renyi熵，发现这东西原来是香农熵的祖宗。相信一部分信息专业的学生在学信息论时只涉及了香农熵，然而，香农熵只是Renyi熵系列中的一种熵。下文翻译自wikipedia，提供了关于Renyi熵一个直观的认识。 在信息论中，Renyi系列熵包括香农熵，Hartley熵，最小熵和冲突熵。熵量化了一个系统的多样性，不确定性或者随机性。Renyi熵由Alfred Renyi的名字命名。
【线性代数系列】正定矩阵 Hermitian矩阵 Rayleigh quotient 瑞利商矩阵 Generalized Rayleigh quotient广义瑞利商矩阵定义性质用途总结
最新发布
wang2leee的博客
01-01 1409
【线性代数系列】正定矩阵 Hermitian矩阵 Rayleigh quotient 瑞利商矩阵 Generalized Rayleigh quotient广义瑞利商矩阵性质用途总结
qjbyvicy.zip_瑞利熵
07-14
基于负熵最大的独立分量分析，采用热核构造权重，主要是基于mtlab的程序，大学数值分析算法，对HARQ系统的吞吐量分析，单径或多径瑞利衰落信道仿真，用于时频分析算法。
互信息 Renyi熵 条件熵 matlab代码 linux
09-10
matlab代码，包含功能：计算互信息、香农熵、Renyi熵、条件熵、加权熵、加权互信息等。用法举例： >> y = [1 1 1 0 0]'; >> x = [1 0 1 1 0]'; >> mi(x,y) %% mutual information I(X;Y) >> h(x) %% entropy H(X) >> condh(x,y) %% conditional entropy H(X|Y) >> h( [x,y] ) %% joint entropy H(X,Y) >> joint([x,y]) %% joint random variab
求解广义瑞利商的极值问题，包括局部最优值和全局最优值的论证
04-25
Given symmetric matrices B,D ∈ R n×n and a symmetric positive definite matrix W ∈ R n×n , maximizingthe sum of the Rayleighquotientx ? Dx andthe gener- alized Rayleigh quotient ...
rayleigh-entropy:瑞利分布熵
04-27
熵 分布。 随机变量的为 其中， gamma是， sigma > 0是分布的比例参数。 安装 $ npm install distributions-rayleigh-entropy 要在浏览器中使用，请使用 。 用法 var entropy = require ( 'distributions-...
Rayleigh_fading.rar_matlab 瑞利衰落_rayleigh_瑞利 matlab_瑞利衰落仿真_瑞利衰落信道
07-13
瑞利衰落模型仿真源代码，主要用于瑞利信道衰落仿真
能量熵的计算_单径或多径瑞利衰落信道仿真_有限元法求解偏微分方程_旋转不变子空间法_matlab
04-01
资源名：能量熵的计算_单径或多径瑞利衰落信道仿真_有限元法求解偏微分方程_旋转不变子空间法_matlab 资源类型：matlab项目全套源码 源码说明： 全部项目源码都是经过测试校正后百分百成功运行的，如果您下载后不能...
瑞丽差分隐私介绍（Rényi Differential Privacy，RDP）
ruiqu1650914788的博客
07-14 4526
通过一个简单的例子切入，介绍了一下RDP的由来。文中给与了RDP的噪声添加尺度和推导过程，简答介绍了一下FDP。
瑞利商
qq_37920823的博客
05-09 2476
瑞利商 瑞利商 瑞利商 首先给出瑞利商的定义 R(A,x)=xTAxxTxR(A,x) = \frac{x^TAx}{x^Tx}R(A,x)=xTxxTAx​ AAA 为一个n∗nn*nn∗n的对称矩阵。 它经常在一些统计问题中出现，因此在此记录其性质 我们记 AAA 的特征值以及对应的特征向量为λ1,λ2,...,λn;v1,v2,...,vn\lambda_1,\lambda_2,......
LDA线性判别原理解析＜数学推导＞
【AI机器学习与知识图谱】的博客
03-09 9939
LDA (Linear Discriminant Analysis)是机器学习中线性分类模型，本文从以下三个方面进行解析： 一、LDA线性判别的思想 二、LDA求参过程的数学原理 三、LDA实例应用（贝叶斯角度）LDA分类思想（1）对于多维空间中的数据处理分类问题较为复杂，LDA算法将多维空间中的数据投影到一条直线上，将 d维 数据转化为 1维 数据进行处理；（2）对于训练数据，设法将多维数据
TensorFlow系列专题（二）：机器学习基础
TensorFlowNews
10-26 1112
欢迎大家关注我们的网站和系列教程：http://www.tensorflownews.com/，学习更多的机器学习、深度学习的知识！ 目录： 数据预处理 归一化 标准化 离散化 二值化 哑编码 特征工程 特征提取 特征选择 模型评估方法 留出法 交叉验证法 自助法 模型性能度量 正确率（accuracy）和错误率（e...
瑞丽熵 (Rayleigh quotient)
04-01
瑞丽熵（Rayleigh quotient）是一个数学概念，用于描述一个线性算子在某个向量上的表现。具体地说，瑞丽熵是一个向量在线性算子下的“能量”，通常用于求解特征向量的问题。 在数学上，假设有一个线性算子A和一个非零向量v，那么瑞丽熵可以定义为： R(v) = (Av · v) / (v · v) 其中“·”表示向量的内积操作。这个公式的分子部分表示向量Av在v上的投影，分母部分是向量v的长度平方。因此，瑞丽熵可以理解为向量v在线性算子A下的“强度”，它越大表示向量v越能够被线性算子A“拉伸”。 对于一个线性算子A，它的所有特征向量都可以通过求解瑞丽熵最大值的方式得到。具体而言，假设有一个特征向量v和特征值λ，那么瑞丽熵的最大值Rmax就满足： Rmax = λ 因此，通过求解瑞丽熵最大值可以得到算子A的特征向量和特征值。这个过程在很多数学应用中都有重要的作用，例如在物理学中求解分子的振动频率、在图像处理中求解特征向量等等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值