矩陣特征值分解與奇異值分解含義解析及應用

最新推荐文章于 2024-05-03 19:09:18 发布
最新推荐文章于 2024-05-03 19:09:18 发布
阅读量2.3k 收藏
点赞数
分类专栏： [Martix] [MATLAB]

http://blog.csdn.net/xiahouzuoxin/article/details/41118351

此文有一半轉載自他出，主要在這進行個整理，具體內容文中都有相關的轉載鏈接。

特征值與特征向量的幾何意義

矩陣的乘法是什麼，別只告訴我只是「前一個矩陣的行乘以後一個矩陣的列」，還會一點的可能還會說「前一個矩陣的列數等於後一個矩陣的行數才能相乘」，然而，這裡卻會和你說——那都是表象。

矩陣乘法真正的含義是變換，我們學《線性代數》一開始就學行變換列變換，那才是線代的核心——別會了點貓膩就忘了本——對，矩陣乘法 就是線性變換，若以其中一個向量A為中心，則B的作用主要是使A發生如下變化：

  1. 伸縮

    clf;
A = [0, 1, 1, 0, 0;...
    1, 1, 0, 0, 1];  % 原空間
B = [3 0; 0 2];      % 線性變換矩陣

plot(A(1,:),A(2,:), '-*');hold on
grid on;axis([0 3 0 3]); gtext('變換前');

Y = B * A;

plot(Y(1,:),Y(2,:), '-r*');
grid on;axis([0 3 0 3]); gtext('變換後');
    1

    1

    從上圖可知，y方向進行了2倍的拉伸，x方向進行了3倍的拉伸，這就是B=[3 0; 0 2]的功勞,3和2就是伸縮比例。請注意，這時B除了對角線元素為各個維度的倍數外，非正對角線元素都為0，因為下面將要看到，對角線元素非0則將會發生切變及旋轉的效果。

  2. 切變

    clf;
A = [0, 1, 1, 0, 0;...
     1, 1, 0, 0, 1];  % 原空間
B1 = [1 0; 1 1];       % 線性變換矩陣
B2 = [1 0; -1 1];       % 線性變換矩陣
B3 = [1 1; 0 1];       % 線性變換矩陣
B4 = [1 -1; 0 1];       % 線性變換矩陣

Y1 = B1 * A;
Y2 = B2 * A;
Y3 = B3 * A;
Y4 = B4 * A;

subplot(2,2,1);
plot(A(1,:),A(2,:), '-*'); hold on;plot(Y1(1,:),Y1(2,:), '-r*');
grid on;axis([-1 3 -1 3]);
subplot(2,2,2);
plot(A(1,:),A(2,:), '-*'); hold on;plot(Y2(1,:),Y2(2,:), '-r*');
grid on;axis([-1 3 -1 3]);
subplot(2,2,3);
plot(A(1,:),A(2,:), '-*'); hold on;plot(Y3(1,:),Y3(2,:), '-r*');
grid on;axis([-1 3 -1 3]);
subplot(2,2,4);
plot(A(1,:),A(2,:), '-*'); hold on;plot(Y4(1,:),Y4(2,:), '-r*');
grid on;axis([-1 3 -1 3]);
    2

    2

  3. 旋轉

    所有的變換其實都可以通過上面的伸縮和切變變換的到，如果合理地對變換矩陣B取值，能得到圖形旋轉的效果，如下，

    clf;
A = [0, 1, 1, 0, 0;...
     1, 1, 0, 0, 1];  % 原空間
theta = pi/6;
B = [cos(theta) sin(theta); -sin(theta) cos(theta)];
Y = B * A;
figure;
plot(A(1,:),A(2,:), '-*'); hold on;plot(Y(1,:),Y(2,:), '-r*');
grid on;axis([-1 3 -1 3]);
    3

    3

好，關於矩陣乘就這些了。那麼，我們接著就進入主題了，對特定的向量，經過一種方陣變換，經過該變換後，向量的方向不變（或只是反向），而只是進行伸縮變化（伸縮值可以是負值，相當於向量的方向反向）？這個時候我們不妨將書上對特征向量的定義對照一遍：

數學教材定義： 設A是n階方陣，如果存在 λ 和n維非零向量X，使  ，則 λ 稱為方陣A的一個特征值，X為方陣A對應於或屬於特征值 λ 的一個特征向量。

上面特定的向量不就是特征向量嗎？ λ 不就是那個伸縮的倍數嗎？因此，特征向量的代數上含義是：將矩陣乘法轉換為數乘操作；特征向量的幾何含義是：特征向量通過方陣A變換只進行伸縮，而保持特征向量的方向不變。特征值表示的是這個特征到底有多重要，類似於權重，而特征向量在幾何上就是一個點，從原點到該點的方向表示向量的方向。

特征向量有一個重要的性質：同一特征值的任意多個特征向量的線性組合仍然是A屬於同一特征值的特征向量。關於特征值，網上有一段關於「特征值是震動的譜」的解釋：

戲說在朝代宋的時候，我國就與發現矩陣特征值理論的機會擦肩而過。話說沒有出息的秦少游在往池塘裡扔了一顆小石頭後，剛得到一句「投石沖開水底天」的泡妞詩對之後，就猴急猴急地去洞房了，全然沒有想到水波中隱含著矩陣的特征值及特征向量的科學大道理。大概地說，水面附近的任一點水珠在原處上下振動（實際上在做近似圓周運動），並沒有隨著波浪向外圈移動，同時這些上下振動的水珠的幅度在漸漸變小，直至趨於平靜。在由某塊有著特定質量和形狀的石頭被以某種角度和速度投入某個面積和深度特定的水池中所決定的某個矩陣中，紋波蕩漾中水珠的漸變過程中其特征值起著決定性的作用，它決定著水珠振動的頻率和幅度減弱的衰退率。

在理解關於振動的特征值和特征向量的過程中，需要加入復向量和復矩陣的概念，因為在實際應用中，實向量和實矩陣是干不了多少事的。機械振動和電振動有頻譜，振動的某個頻率具有某個幅度；那麼矩陣也有矩陣的譜，矩陣的譜就是矩陣特征值的概念，是矩陣所固有的特性，所有的特征值形成了矩陣的一個頻譜，每個特征值是矩陣的一個「諧振頻點」。

美國數學家斯特讓（G..Strang）在其經典教材《線性代數及其應用》中這樣介紹了特征值作為頻率的物理意義，他說：

大概最簡單的例子（我從不相信其真實性，雖然據說1831年有一橋梁毀於此因）是一對士兵通過橋梁的例子。傳統上，他們要停止齊步前進而要散步通過。這個理由是因為他們可能以等於橋的特征值之一的頻率齊步行進，從而將發生共振。就像孩子的秋千那樣，你一旦注意到一個秋千的頻率，和此頻率相配，你就使頻率蕩得更高。一個工程師總是試圖使他的橋梁或他的火箭的自然頻率遠離風的頻率或液體燃料的頻率；而在另一種極端情況，一個證券經紀人則盡畢生精力於努力到達市場的自然頻率線。特征值是幾乎任何一個動力系統的最重要的特征。

其實，這個矩陣之所以能形成「頻率的譜」，就是因為矩陣在特征向量所指的方向上具有對向量產生恆定的變換作用：增強（或減弱）特征向量的作用。進一步的，如果矩陣持續地疊代作用於向量，那麼特征向量的就會凸現出來。

更多關於特征向量及特征值的實際例子參見Wikipedia： http://zh.wikipedia.org/wiki/特征向量 。

特征值分解

設A有n個特征值及特征向量，則：

將上面的寫到一起成矩陣形式：

若(x1,x2,...,xn)可逆，則左右兩邊都求逆，則方陣A可直接通過特征值和特征向量進行唯一的表示，令

Q=(x1,x2,...,xn)

Σ = diag(λ1, λ2, ..., λn)

則  ，該表達式稱為方陣的特征值分解，這樣方陣A就被特征值和特征向量唯一表示。

一個變換方陣的所有特征向量組成了這個變換矩陣的一組基。所謂基，可以理解為坐標系的軸。我們平常用到的大多是直角坐標系，在線性代數中可以把這個坐標系扭曲、拉伸、旋轉，稱為基變換。我們可以按需求去設定基，但是基的軸之間必須是線性無關的，也就是保證坐標系的不同軸不要指向同一個方向或可以被別的軸組合而成，否則的話原來的空間就「撐」不起來了。從線性空間的角度看，在一個定義了內積的線性空間裡，對一個N階對稱方陣進行特征分解，就是產生了該空間的N個標准正交基，然後把矩陣投影到這N個基上。N個特征向量就是N個標准正交基，而特征值的模則代表矩陣在每個基上的投影長度。特征值越大，說明矩陣在對應的特征向量上的方差越大，功率越大，信息量越多。不過，特征值分解也有很多的局限，比如說變換的矩陣必須是方陣。

在機器學習特征提取中，意思就是最大特征值對應的特征向量方向上包含最多的信息量，如果某幾個特征值很小，說明這幾個方向信息量很小，可以用來降維，也就是刪除小特征值對應方向的數據，只保留大特征值方向對應的數據，這樣做以後數據量減小，但有用信息量變化不大，PCA降維就是基於這種思路。

Matlab中通過eig函數就可求得特征值和特征向量矩陣。

>> B = [ 3     -2      -.9    2*eps
     -2      4       1    -eps
     -eps/4  eps/2  -1     0
     -.5    -.5      .1    1   ]
B =
    3.0000   -2.0000   -0.9000    0.0000
   -2.0000    4.0000    1.0000   -0.0000
   -0.0000    0.0000   -1.0000         0
   -0.5000   -0.5000    0.1000    1.0000

>> [V D] = eig(B)
V =
    0.6153   -0.4176   -0.0000   -0.1437
   -0.7881   -0.3261   -0.0000    0.1264
   -0.0000   -0.0000   -0.0000   -0.9196
    0.0189    0.8481    1.0000    0.3432
D =
    5.5616         0         0         0
         0    1.4384         0         0
         0         0    1.0000         0
         0         0         0   -1.0000

D對角線的元素即為特征值（表示了伸縮的比例），D就是特征值分解公式中的Q，V的每一列與D沒列對應，表示對應的特征向量，即特征值分解中的Σ。

奇異值分解

特征值分解是一個提取矩陣特征很不錯的方法，但是它只適用於方陣。而在現實的世界中，我們看到的大部分矩陣都不是方陣，比如說有M個學生，每個學生有N科成績，這樣形成的一個M * N的矩陣就可能不是方陣，我們怎樣才能像描述特征值一樣描述這樣一般矩陣呢的重要特征呢？奇異值分解就是用來干這個事的，奇異值分解是一個能適用於任意的矩陣的一種分解的方法。我們有必要先說說特征值和奇異值之間的關系。

對於特征值分解公式， ATA 是方陣，我們求 ATA 的特征值，即  ，此時求得的特征值就對應奇異值的平方，求得的特征向量v稱為右奇異向量，另外還可以得到：

所求的ui就是左奇異向量， σi 就是奇異值。已有人對SVD的幾何機理做了清晰的分析，非常受用，就不重復造輪子，下文為轉載自http://blog.sciencenet.cn/blog-696950-699432.html 。

SVD分解

SVD分解

SVD之所以很有效，是因為：在很多情況下，前10%甚至1%的奇異值的和就佔了全部的奇異值之和的99%以上了。在這裡，我們用圖像簡單的實踐一下SVD的大妙處，下面是matlab對圖像進行SVD分解的例子，

<code class="sourceCode matlab" style="margin: 0px; padding: 0.5em; line-height: normal; font-family: Monaco, 'Courier New', 'DejaVu Sans Mono', 'Bitstream Vera Sans Mono', monospace; color: rgb(51, 51, 51); border: none; display: block; background-color: rgb(248, 248, 255); background-position: initial initial; background-repeat: initial initial; ">I = imread(<span class="st" style="margin: 0px; padding: 0px; color: rgb(64, 112, 160); ">'lena_gray.bmp'</span>);                  <span class="co" style="margin: 0px; padding: 0px; color: rgb(96, 160, 176); font-style: italic; ">% 512x512的Lena圖像</span>
im = double(I);
[s,v,d]=svd(im);                              <span class="co" style="margin: 0px; padding: 0px; color: rgb(96, 160, 176); font-style: italic; ">% svd分解，svd分解後特征值v對角線按從大到小排列，因此可以選擇特征值大的進行恢復</span>
recv1=s(:,<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">1</span>:<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">20</span>)*v(<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">1</span>:<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">20</span>,<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">1</span>:<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">50</span>)*d(:,<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">1</span>:<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">50</span>)';      <span class="co" style="margin: 0px; padding: 0px; color: rgb(96, 160, 176); font-style: italic; ">% svd取最高的100個特征值進行恢復</span>
recv2=s(:,<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">1</span>:<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">50</span>)*v(<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">1</span>:<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">50</span>,<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">1</span>:<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">100</span>)*d(:,<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">1</span>:<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">100</span>)';    <span class="co" style="margin: 0px; padding: 0px; color: rgb(96, 160, 176); font-style: italic; ">% svd取最高的100個特征值進行恢復</span>
recv3=s(:,<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">1</span>:<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">200</span>)*v(<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">1</span>:<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">200</span>,<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">1</span>:<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">200</span>)*d(:,<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">1</span>:<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">200</span>)';  <span class="co" style="margin: 0px; padding: 0px; color: rgb(96, 160, 176); font-style: italic; ">% svd取最高的100個特征值進行恢復</span>

subplot(<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">221</span>);imshow(I);
title(<span class="st" style="margin: 0px; padding: 0px; color: rgb(64, 112, 160); ">'原圖'</span>);
subplot(<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">222</span>);imshow(mat2gray(recv1));
title(<span class="st" style="margin: 0px; padding: 0px; color: rgb(64, 112, 160); ">'恢復：左奇異20、右奇異50'</span>);
subplot(<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">223</span>);imshow(mat2gray(recv2));
title(<span class="st" style="margin: 0px; padding: 0px; color: rgb(64, 112, 160); ">'恢復：左奇異50、右奇異100'</span>);
subplot(<span class="fl" style="margin: 0px; padding: 0px; color: rgb(64, 160, 112); ">224</span>);imshow(mat2gray(recv3));
title(<span class="st" style="margin: 0px; padding: 0px; color: rgb(64, 112, 160); ">'恢復：左奇異200、右奇異200'</span>);</code>
图注：SVD二维图像压缩恢复

圖注：SVD二維圖像壓縮恢復

如果按左下角的方式壓縮原圖，則存儲量變為：50x50+100x100+50=12500，而存儲原圖像的存儲量為512x512=262144，則壓縮比為262144/12500=20.97，這裡沒有考慮存儲數據類型的差異。

SVD分解相對於特征值分解的優勢就是：

  1. 分解的矩陣可以是任意矩陣
  2. 在恢復信號的時候左右奇異值可以選擇不同的維度

另外值得注意的一點：不論是奇異值分解還是特征值分解，分解出來的特征向量都是正交的。

奇異值分解與PCA

關於奇異值與PCA的關系， http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html 給了很好的解釋，也直接整理過來，感謝原作者：

图注：SVD与PCA

圖注：SVD與PCA

PCA就是一種用於對數據進行降維的方法（降維肯定會丟失數據，只不過能在減少大量存儲量的同時損失盡可能少），參見之前matlab對圖像進行SVD分解的例子，更容易理解：實現了SVD就實現了PCA，PCA僅是SVD的包裝。

PCA的應用很廣，主要用在機器學習中對特征進行降維，還能用於去噪，下面兩圖是PCA降維和PCA去噪的例子（圖片來自鄒博PPT：北京9月秋季班·機器學習初步）

图注：PCA降维

圖注：PCA降維

降維說白了就是將信息通過投影到更低得多維度，這樣必然會帶來信息的丟失，但就如上圖，這種信息的丟失卻有時對分類沒有影響，反而能降低識別算法的維度，提高速度，緩解所謂的維度災難。

图注：PCA去噪

圖注：PCA去噪

PCA去噪的前提是噪聲的特征值會比信號的特征值小，即信噪比高的情況，否則PCA去噪會產生逆效果——把信號去掉了而噪聲沒去掉。

SVD其它

SVD還有其它很多方面的應用，通過查找資料，這裡先做個簡單的羅列，有機會再一個個研究：

  1. 求偽逆。我們知道，矩陣求逆要求矩陣必須是方陣，SVD可以用來求任意矩陣的逆運算，求任意矩陣的逆矩陣稱為求偽逆
  2. 最小二乘法求解。憑著對《矩陣論》的零星的記憶，SVD算法就是因為能求偽逆所以用來求解最小二乘法。
  3. 基於SVD的文本分類。首先接觸是從吳軍老師的《數學之美》一書上看到的，大致是：通過TF/IDF(term frequency/inverse document frequency)構建「一百萬篇文章和五十萬詞的關聯性」的矩陣 A1000000x500000 ，然後對A矩陣使用SVD分解之後，存儲量減小，而且左奇異值矩陣和右奇異值矩陣以及奇異值矩陣的物理含義將非常明晰，http://blog.csdn.net/wangzhiqing3/article/details/7431276 有簡單介紹，更多參見吳軍老師的《數學之美》

另外，開源視覺庫OpenCV中也提供SVD分解的算法。

參考

  1. 強大的矩陣奇異值分解(SVD)及其應用
  2. http://blog.sciencenet.cn/blog-696950-699432.html ，關於SVD部分的講解即出自此處。
  3. http://www.cise.ufl.edu/~srajaman/Rajamanickam_S.pdf
  4. July培訓班PPT：「北京9月秋季班：貝葉斯、PCA、SVD」.
  5. 戴華編著《矩陣論》 教材，科學出版社. 有時候明白一點之後再回頭參考數學教材要比網上大把的抓好得多，豁然開朗。


Iam_Rocky
关注
专栏目录
特征值分解与奇异值分解含义
开开_王子的博客
08-04 644
一、特征值分解 1、 矩阵乘法在介绍特征值与特征向量的几何意义之前，先介绍矩阵乘法的几何意义。矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度的新向量。在这个变化过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某些向量只发生伸缩变换，不产生旋转效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。比如：，它对应的线性变换是下面的形式形式：由于矩阵M是对称的，所以这个变换
matlab矩阵特征值分解,矩阵特征值分解与奇异值分解含义解析及应用
weixin_30220707的博客
03-17 3096
原文在此，仅仅将原文的Matlab代码改为Python3版本。特征值与特征向量的几何意义矩阵的乘法是什么，别只告诉我只是“前一个矩阵的行乘以后一个矩阵的列”，还会一点的可能还会说“前一个矩阵的列数等于后一个矩阵的行数才能相乘”，然而，这里却会和你说——那都是表象。矩阵乘法真正的含义是变换，我们学《线性代数》一开始就学行变换列变换，那才是线代的核心——别会了点猫腻就忘了本——对，矩阵乘法：就是线性变...
特征值分解
rayna00的专栏
06-30 3872
一、特征值与特征向量的几何意义 1.     矩阵乘法 在介绍特征值与特征向量的几何意义之前，先介绍矩阵乘法的几何意义。 矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度的新向量。在这个变化过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某些向量只发生伸缩变换，不产生旋转效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。 比如：，它对应的线性变换是下面的形式形
特征值分解与奇异值分解原理与计算
Little_Fire的博客
05-25 7938
（一）特征值如果一个非零向量v是方阵A的特征向量，将一定可以表示成下面形式，而λ是特征向量v对应的特征值：特征值分解是将一个矩阵分解成下面的形式：其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。一个矩阵的一组特征向量是一组正交向量。【练习题】求解矩阵A的特征值与特征向量。方阵的特征值表示什么含义呢，我们通过一组向量图表示。初始状态下，i（红色）和j（蓝色...
【机器学习中的数学基础】矩阵特征值、特征向量和特征值分解的几何意义
NZR的blog
04-24 3683
【机器学习中的数学基础】矩阵特征值、特征向量和特征值分解的几何意义 在《机器学习》西瓜书中的第十章提到了“多维缩放”（简称MDS）方法，该方法是一种经典的的降维方法。此方法的目标是获得样本在d′d^{'}d′维空间的表示，且任意两个样本在d′d^{'}d′维空间中的欧式距离等于原始空间中的距离。 在介绍该方法时提到了特征值分解这一概念，在线性代数的课程学习中，重点放在了如何求解特征值和特征值分解，对于其表示的数学含义而不求甚解，因此，本文就矩阵的特征值、特征向量以及特征值的分解所具有的几何意义做出解释。 相
矩阵的特征值分解与奇异值分解的几何意义
TangowL
07-22 1万+
1、首先，矩阵可以认为是一种线性变换：确定了定义域空间与目标空间的两组基，就可以很自然地得到该线性变换的矩阵表示。即矩阵A可以通过Ax=b将一个向量x线性变换到另一个向量b，这个过程中，线性变换的作用包含三类效应：旋转、缩放和投影。2、奇异值分解体现了对线性变换这三种效用的一个析构。 在中，U的列向量组成了一组标准正交基，V的列向量也是，这表示我们找到了U和V这两组基，A矩阵的作用是将一个向量从V
矩阵特征值分解与奇异值分解含义解析及应用_矩阵的特征分解为什么是延展倍的空间
最新发布
2301_82244509的博客
05-03 594
疯狂编程学习效果可视化写博客阅读优秀代码心态调整。
qiyizhifenjie.rar_qiyizhifenjie_奇异值分解_奇异值分解C++_奇异值分解c
09-21
奇异值分解（Singular Value Decomposition，简称SVD）是线性代数中一个非常重要的概念，它在信号处理、图像分析、机器学习等多个IT领域都有广泛应用。SVD能够将任何矩阵分解为三个正交矩阵的乘积，即： \[ A = U \...
特征值分解 迭代法_SVD迭代法_SVD_特征值分解_
10-01
特征值分解是线性代数中的一个重要概念，它在数据处理、图像分析、信号处理等领域有着广泛的应用。特征值和特征向量揭示了矩阵的本质特性，对于理解和操作矩阵具有极其重要的作用。本主题将深入探讨特征值分解以及一...
数值分析ppt（矩阵特征值与特征向量数解法）
04-14
### 数值分析中的矩阵特征值与特征向量数值解法 ...通过以上介绍，我们可以看到矩阵特征值与特征向量数值解法在理论和实际应用中的重要性。在处理复杂的工程问题和技术问题时，掌握这些数值方法是非常必要的。
特征值分解与奇异值分解及其应用
songbinxu的博客
06-28 3007
SVD奇异值分解 正交矩阵 正交矩阵   正交矩阵对应着正交变换，特点在于不改变向量的尺寸（模）和任意两个向量的夹角。在x-y坐标系中，通俗地讲，就是旋转两个坐标轴，得到新的互相垂直的坐标轴，求向量在新坐标系中的投影。 正交变换举例   图片摘自此处。 例如向量OAOAOA，在原始e1−e2e1−e2e_1-e_2坐标系中表示为(a,b)T(a,b)T(a,b)^T，...
线性代数学习笔记10-2：特征值分解EVD/奇异值分解SVD的几何意义
Insomnia_X的博客
09-12 1346
特征值和奇异值都可用于分解矩阵，但它们有如下区别：（两者关系的基本讨论见前文，这里简要总结）特征值分解是将特征向量作为新的基向量，在新的坐标系下进行伸缩，完成同一个线性变换奇异值分解是将标准正交基作为新的基向量，在新的坐标系下进行伸缩+旋转（可能还包含投影），完成同一个线性变换特征值分解只能用于满足条件的方阵，对应于从空间到空间自身的映射奇异值分解用于m x n的矩阵/或奇异矩阵（不满秩/不可逆的方阵），对应从一个空间到另一个空间的映射“作用”的概念：几何上简单理解为对向量的旋转和拉伸。
机器学习基础：特征值分解与特征向量
Hanze的博客
03-21 1886
机器学习基础：特征值分解与特征向量 特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。 如果说一个向量v是一个方阵A的特征向量，将一可以表示成下面形式Av=λv Av=\lambda vAv=λv λ\lambdaλ为特征向量v的特征值，特征值分解是将一个矩阵分解为如下形式：A=Q∑Q−1A=Q\sum Q^{-1}A=Q∑Q−1其中Q是这个矩阵A的特征向量所组成的矩阵，∑\sum∑是一个对角矩阵，每一个对角线元素就是一个特征值，里面的特征值有大到小排列，
PCA的本质----特征值分解
Sunshine_in_Moon的专栏
05-27 1万+
相信大家对PCA并不陌生，但是PCA的本质你是否了解呢？今天就给大家简单讲讲，也是自己对PCA的一个巩固。博客中使用的图片来自七月算法的程博士的PPT，在此感谢程博士课上的耐心讲解。      1、特征值个特征向量     我相信大家对于这个式子非常熟悉，但是你真正的理解这个式子了吗？特征向量和特征值到底有什么意义呢？说实话，在听程博士的课之前我一直迷惑，不过现在懂了。     首先，我们
特征值和特征向量的实际意义
如有侵权，请联系作者删除
10-10 3932
特征值和特征向量的实际意义 从定义出发，Ax=cx：A为矩阵，c为特征值，x为特征向量。 矩阵A乘以x表示，对向量x进行一次转换（旋转或拉伸）（是一种线性转换），而该转换的效果为常数c乘以向量x（即只进行拉伸）。 我们通常求特征值和特征向量即为求出该矩阵能使哪些向量（当然是特征向量）只发生拉伸，使其发生拉伸的程度如何（特征值大小）。这样做的意义在于，看清一个矩阵在那些方面能产生最大的效果（powe...
特征值分解（Eigen Value Decomposition，EVD）、奇异值分解（Singular Value Decomposition，SVD）原理、公式推导及应用
CCC的专栏
04-30 1万+
==
矩阵特征值分解与奇异值分解含义解析及应用
热门推荐
xiahouzuoxin
11-14 11万+
此文有一半转载自他出，主要在这进行个整理，具体内容文中都有相关的转载链接。特征值与特征向量的几何意义矩阵的乘法是什么，别只告诉我只是“前一个矩阵的行乘以后一个矩阵的列”，还会一点的可能还会说“前一个矩阵的列数等于后一个矩阵的行数才能相乘”，然而，这里却会和你说——那都是表象。矩阵乘法真正的含义是变换，我们学《线性代数》一开始就学行变换列变换，那才是线代的核心——别会了点猫腻就忘了本——对，矩阵乘法
矩阵特征值分解与奇异值分解(SVD)含义解析及应用
Wenfei Wang的专栏
01-22 1万+
原文链接：http://blog.csdn.net/xiahouzuoxin/article/details/41118351 特征值与特征向量的几何意义 矩阵的乘法是什么，别只告诉我只是“前一个矩阵的行乘以后一个矩阵的列”，还会一点的可能还会说“前一个矩阵的列数等于后一个矩阵的行数才能相乘”，然而，这里却会和你说——那都是表象。 矩阵乘法真正的含义是变换，我们学
矩阵奇异值分解的原理及应用解析
矩阵的奇异值分解及其应用 矩阵的奇异值分解（SVD）是一种重要的矩阵分解方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。奇异值分解可以将矩阵分解...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值