qq_29367075的博客

一：自信息 二：信息熵 三：联合熵 四：条件熵 五：交叉熵 六：相对熵（KL散度） 七：总结

上一次我们学习了PCA的过程，并且在最后还特意为大家介绍了协方差矩阵以及协方差矩阵的特征值和特征向量的作用。 Now , Review it Together… 1：协方差 2：协方差矩阵 换算成矩阵运算，假设矩阵A是M行N列，每一列是一个特征值。M是样本个数。 上述计算即为，先将每个特征均值中心化得到新的A， 再：(1/M) * AT * A。 3：协方差矩阵的意义： 它是个对称矩阵，对角线元素代表某个特征本身的方差，其他元素是某两个特征之间的协方差。因此是对称矩阵。 特征值分解后，可以得到，不同的特

一：简单的例子 例子一： 有一组体检的数据表（每个人的身高和体重） 一共七个人，每个人的身高和体重如下： 165 170 175 180 185 190 195 身高cm 90 90 91 90 90 89 90 体重kg 如果，现在给你个其中一组数据，让你去分别出哪个数据是哪个人的，我们肯定会只根据身高去判断哪个数据是哪个人的了吧。我们潜意识内已经把一个二维数据自动用了一个一维的数据进行划分了。这就是降维。我们很开心，因为就现成的维度就能划分出来。 例子二： 再给你七个人的数据，每个人的身高和体重如下：

今天给大家分享一个 SVD 用于数据压缩的例子。 还是以图片作为距离，图片是有 M*N 个像素点组成的，在县线性代数中可以将其当做是一个矩阵进行处理和运算。由上一章节我们学习到了，经过SVD分解后，提取前几个主要的特征向量即可大约组成原始图像。Img = UΣVT 下面我们将给出一个例子。使用的是 Octave 软件（别慌，语法都是兼容Matlab的），准备了一图像（315 x 485 x 3 = 152775 x 3）的彩色图像，灰度图像都是而且的，加上RGB三原色后，按照比例既可混合

详情请见附件 一：一些搜罗的预备知识 1.1：特征值和特征向量 矩阵： 1）是一堆建立了某种运算时识别规则的数字 2）是一列一列的列向量。或者是一行一行的行向量 3）可以代表是一个图像，每一个元素值都是一个像素值范围在（0~255） 4）是一个线性变换，将一组或者一个向量变换成另一组或一个向量。这可还可以理解成是空间几何中的坐标/向量变换。 1.2：矩阵的本质： 矩阵本质上是线性变换，在空间中代表的某个基-坐标系/向量的线性转变，可以使缩放，旋转，投影。 1.3：特征值分解和奇异值分解：都是给一个矩阵(线性