线性代数进阶-机器学习

最新推荐文章于 2022-07-24 23:24:48 发布
最新推荐文章于 2022-07-24 23:24:48 发布
阅读量1.3k 收藏 4
点赞数 2
分类专栏： 矩阵概念
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuxiaodong400/article/details/93650075
版权

1. 重要的特殊矩阵

对称方阵

  • 定义：
  • 协方差矩阵
  • 海森矩阵(牛顿法)
  • 内积矩阵

正定方阵

  • 定义：先对称，后满足 x T H x &gt; 0 x^{T}Hx&gt;0 xTHx>0,正定，<0负定，>=0半正定
  • 协方差矩阵
  • 海森矩阵(可以判定是不是凸函数)
  • 内积矩阵

正交矩阵

三角矩阵（上三角，下三角）

对角矩阵

稀疏矩阵

2. 矩阵变换

相似变换

  • 同一个线性变换在不同的基下的表达形式
  • 相似变换不变量
    ：行列式值不变，描述的是同一个线性变换，体积变化率不变
    ：迹不变
    ：特征值不变

相合变换

  • 内积
    ：定义两个向量之间的关系
  • 相合矩阵定义：
  • 几何意义：同一个内积结构在不同基下的表示形式
  • 相合变换不变量
    ：矩阵的正定性
    ：矩阵的正负特征值的个数
    ：相合变换下矩阵保持对称性

正交相似变换

  • 正交相似变换同时满足相似与相合变换的条件，也就是说它同时保持了矩阵的相似和相合不变量
  • 任何一个对称阵A都可以正交相似于一个对角阵D，或者说总存在一个正交矩阵P，使得 A = P T D P A=P^{T}DP A=PTDP,且对角矩阵D由A的特征值构成。
  • 正交相似实例及几何意义：
    在这里插入图片描述

3. 矩阵分解

LU分解

  • A = L U A=LU A=LU
  • 高斯消去法

cholesky分解

QR分解

  • 定义 A = Q R A=QR A=QR，其中 Q为正交矩阵，而R是上三角矩阵
  • Gram-Schmidt正交化
    ：投影，抹去非正交分量，归一化

SVD分解（重要）

在这里插入图片描述
在这里插入图片描述
伪逆的SVD表达：

4. PCA理论及实例

低阶矩阵近似(压缩图片)

  • 部分奇异值分解：用少部分大的奇异值来近似描述矩阵
    在这里插入图片描述

PCA应用

在这里插入图片描述
在这里插入图片描述

  • 降维，降噪
鲁班班班七号
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
线性代数进阶
weixin_30695195的博客
04-22 232
向量（ vector）：一个向量是一列数。这些数是有序排列的。通过次序中的索引，我们可以确定每个单独的数。 张量（ tensor）：在某些情况下，我们会讨论坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中，我们将其称之为张量。我们使用字体 A 来表示张量 “A’’。张量 A 中坐标为 ( i, j , k ) 的元素记作 Ai,j,k。 标量与矩阵相加或相乘：向量与矩阵...
线性代数（矩阵）进阶总结
Hacheylight
01-26 1012
jx day2 总结 根本没有进阶啊，我感觉跟做知识差不多难 就是个矩阵乘法讲了一上午。。。
线性代数(4)——矩阵进阶
Jakob_Hu的博客
05-25 588
矩阵进阶矩阵——系统矩阵乘法矩阵和向量的乘法矩阵和矩阵的乘法矩阵乘法实现矩阵乘法的性质与矩阵的幂 矩阵——系统 矩阵看做是一个系统，使用矩阵可以表示一个线性系统。如使用矩阵表示一个方程组， {xi+0.2xj+0.1xk+0.5xl=100−0.5xi+xj+0.2xk+0.1xl=50−0.4xj−xk+0.3xl=20−0.2xi+xl=666\begin{cases}x_i+0.2x_j+0...
线性代数
hua_007的专栏
12-07 2113
线性代数相关课程       1. 空间解析几何：解析几何是通过引进坐标系，用代数的方法来系统的研究平面曲线（如直线，椭圆，双曲线，抛物线等）和空间曲面（如平面，二次曲面，旋转面等），目前不少学校已将解析几何与线性代数放在同一门课程中讲授。     2. 高等代数：高等代数是数学专业平行于“线性代数”的一门课程，除了线性代数理论，一般还包括多项式理论。     3. 数
矩阵相合（合同）
qq_45186517的博客
05-29 2474
只二次型里我们只考虑了对称矩阵的合同。但是如果是非对称矩阵，毕竟矩阵的合同定义中，也会引申一类非定义矩阵。那么这一类矩阵也是存在着合同与不合同的定义的。再这里我不在叙述，如果有人想知道如何判断这一类矩阵，可以私信我。 ...
第6课 线性代数进阶_8
09-25
机器学习数学基础课程，视频清晰占用空间比较大。...第6课 线性代数进阶 第7课 凸优化初步 第8课 凸优化进阶 第9课 从数学到机器学习分类问题 第10课 深入理解SVM 由于每一课视频依然较大以及上传限制，所以分开上传。
第6课 线性代数进阶_7
09-25
机器学习数学基础课程，视频清晰占用空间比较大。...第6课 线性代数进阶 第7课 凸优化初步 第8课 凸优化进阶 第9课 从数学到机器学习分类问题 第10课 深入理解SVM 由于每一课视频依然较大以及上传限制，所以分开上传。
第6课 线性代数进阶_6
09-25
机器学习数学基础课程，视频清晰占用空间比较大。...第6课 线性代数进阶 第7课 凸优化初步 第8课 凸优化进阶 第9课 从数学到机器学习分类问题 第10课 深入理解SVM 由于每一课视频依然较大以及上传限制，所以分开上传。
第6课 线性代数进阶_5
09-25
机器学习数学基础课程，视频清晰占用空间比较大。...第6课 线性代数进阶 第7课 凸优化初步 第8课 凸优化进阶 第9课 从数学到机器学习分类问题 第10课 深入理解SVM 由于每一课视频依然较大以及上传限制，所以分开上传。
第6课 线性代数进阶_4
09-25
机器学习数学基础课程，视频清晰占用空间比较大。...第6课 线性代数进阶 第7课 凸优化初步 第8课 凸优化进阶 第9课 从数学到机器学习分类问题 第10课 深入理解SVM 由于每一课视频依然较大以及上传限制，所以分开上传。
矩阵的合同和相似
qq_45706306的博客
04-15 1万+
矩阵相似：两者的秩相等；两者的行列式值相等；两者的迹数相等；两者拥有同样的特征值，尽管相应的特征向量一般不同；两者拥有同样的特征多项式；两者拥有同样的初等因子。 2、矩阵合同：反身性，任意矩阵都与其自身合同；对称性，A合同于B，则可以推出B合同于A；，传递性：A合同于B，B合同于C，则可以推出A合同于C；，合同矩阵的秩相同。 ...
矩阵合同，相似与等价 以及初等变换矩阵
zxnzjccmily的博客
07-24 2769
矩阵合同、相似、等价；初等变换矩阵
线性代数几何意义大杂烩
qq_28613337的博客
04-06 3462
线性代数几何意义大杂烩矩阵相似定义几何意义矩阵合同定义几何意义？其他概念几何意义 矩阵相似 定义 存在可逆矩阵P使得 A=P−1BPA = P^{-1}BPA=P−1BP； 几何意义 两个矩阵AB是在不同的基向量中对同一个变换的表示； P以β为基表示的α基向量构成的矩阵； 设A矩阵所在的基为α， B矩阵所在的基为β； iαi_αiα​为α中的一个向量，iβi_βiβ​为β中的对应向量； （β坐标可...
正交相似变换
小9的专栏
12-27 1万+
线性空间的度量 首先用Hα=[hij]n∗nH_{\alpha}=\left [h_{ij} \right ]_{n*n}来表示线性空间的度量，其中hij=G(αi,αj)h_{ij}=G(\alpha _{i},\alpha _{j}) ， α\alpha 是空间中的一组基。 HαH_{\alpha}是一个对称矩阵。 这样定义以后，有：对任意两个向量v1v_{1}和v2v_{2}，v1=
线性代数笔记【二次型】
qq_40500005的博客
06-23 2220
二次型 n元二次型：关于n个变量x1,x2,⋯ ,xnx_1,x_2,\cdots,x_nx1​,x2​,⋯,xn​的二次齐次函数 KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲ f(x_1,x_2,\cdo… 系数全为实数的二次型叫做实二次型，除此之外还有复二次型和复二次型矩阵，但在这里不讨论 标准二次型：只含平方项的二次型，形如g(y1,y2,⋯ ,yn)=d1y12+d2y22+
线性代数(15)——矩阵的QR分解
热门推荐
Jakob_Hu的博客
06-05 5万+
矩阵的QR分解和LU分解的目的都是为了便于矩阵计算。 矩阵的QR分解 概述 A=QRA=QRA=QR这一过程将矩阵分解为QQQ和RRR两部分，其中QQQ是标准正交矩阵，RRR是一个上三角矩阵。 矩阵的QRQRQR分解能够简化计算可以以线性系统的计算为例， Ax=b⟹(QR)x=bAx=b\Longrightarrow (QR)x=bAx=b⟹(QR)x=b Q−1QRx=Q−1b⟹Rx=QTbQ^...
计算机视觉中的数学方法——7正交对角化——7.1 内积空间与正交矩阵
YSWang的博客
10-17 1986
7.1 内积空间与正交矩阵7.1.1 内积空间7.1.2 正交矩阵正交矩阵的几何意义2阶正交矩阵3阶正交矩阵 7.1.1 内积空间 定义一个函数<.,.>: 7.1.2 正交矩阵 单位正交：正交矩阵每个向量的模长都为1。 正交矩阵的几何意义 2阶正交矩阵 3阶正交矩阵 Q与R相似 同一线性空间下，将一个向量映射到新的基构成的空间中，并进行线性变换，再还原到原坐标系中。 ...
用相似矩阵的几何意义直观理解PCA降维方法
feijie7788的博客
05-12 2970
PCA（主成分分析）是降维中最经典的方法，其推导求解的常用两种方法包括最大方差理论（样本点到超平面的投影都尽可能分开）以及最小平方误差理论（样本点到超平面的距离都足够近），以上两种方法都需要进行严格意义上的数学推导，而本文想从另一个角度——相似矩阵的几何意义——直观理解PCA坐标变换的选取。 1.相似矩阵的几何意义 以三维向量空间为例，任何一个向量v⃗\vec{v}v都可以用一组基向量的某个线性组...
相似矩阵的几何意义
weixin_33743248的博客
02-26 3486
转载于:https://www.cnblogs.com/TAL2SCB/p/10437649.html
机器学习入门：线性代数精要
本文档是一份简明但全面的线性代数教程，着重于矩阵理论及其在机器学习中的应用。作者是Yitzhak Katznelson，该书分为六个主要部分： 1. 向量空间：这部分介绍了向量空间的基本概念，包括向量的定义、线性独立性、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值