数据科学的线性代数基础
文章平均质量分 84
数据科学的线性代数基础
zealscott
https://tech.zealscott.com
展开
-
线性代数笔记1:矩阵的四个基本子空间
矩阵的四个基本子空间贯穿整个线性代数,包含了矩阵的秩、维数、基等重要概念。 定义及性质设AAA为m×nm×nm\times n矩阵,则: 列空间(Column space) C(A)={y∈Rm|y=Ax}C(A)={y∈Rm|y=Ax}C(A) = \{y\in R^m|y = Ax\} 行空间(Row space) C(AT)={y∈Rn|y=ATx}C(AT)={y∈Rn|...原创 2018-03-20 09:41:06 · 5682 阅读 · 3 评论 -
线性代数笔记2:基本子空间的正交性及性质
基本子空间中有着更加特殊和精确的关系,由此可以引出向量空间的正交性及投影等问题。 正交性及正交补定义:设SSS和TTT是RnRnR^n的两个子空间(subspace),如果对于∀V∈S,w∈T,vTw=0∀V∈S,w∈T,vTw=0\forall V\in S,w\in T,v^Tw=0,则SSS垂直于TTT(S is perpendicular to T),并且,这个定义是对称...原创 2018-03-20 17:22:26 · 5465 阅读 · 0 评论 -
线性代数笔记3:向量投影
向量投影是线性代数中很重要的应用,用于找到向量到目标投影空间的投影向量。这是下一节线性回归的基础。 Ax=bAx=bAx=b有解时当计算线性方程组Ax=bAx=bAx=b 有解时, bbb就在C(A)C(A)C(A)的子空间中,则Ax=bAx=bAx= b 在C(AT)C(AT)C(A^T)中有唯一解。我们考虑xxx的投影。 设α∈Rnα∈Rn\alpha \in \mathbb ...原创 2018-03-21 19:26:32 · 14115 阅读 · 0 评论 -
线性代数笔记4:最小二乘法
最小二乘法大家都很熟悉了,今天以向量投影的角度重新认识它。 引入回到解方程组Ax=bAx=bAx = b。 若Ax=bAx=bAx = b 有解,则b∈C(A)b∈C(A)b\in C(A)。 若Ax=bAx=bAx = b 有解,则b∉C(A)b∉C(A)b\notin C(A),转化为问题求:x^x^\hat{x}使得||Ax^−bAx^−bA\hat{x} - b||最小,即m...原创 2018-03-22 20:16:03 · 1522 阅读 · 0 评论 -
线性代数笔记5:Gram-Schmidit正交化
上一讲我们学习了最小二乘法,主要就是求解ATAx=ATbATAx=ATbA^TAx = A^Tb这个方程,我们能不能想办法使得这个方程越简单越好呢? 引言如果矩阵的列向量互相正交,若长度都为一,则称为标准正交阵,若满秩,即QQQ为方阵,那么我们称这个矩阵为正交矩阵(orthogonal matrix)。标准正交阵有很多很好的性质:QTQ=I,QTQ=I,Q^TQ=I,不要求QQQ为...原创 2018-03-24 21:20:12 · 2205 阅读 · 0 评论 -
线性代数笔记6:行列式
大部分国内的线性代数都是从行列式开始讲起,这里只列出基本性质方便回顾。 行列式的几何意义行列式中的行或列向量所构成的超平行多面体的有向面积或体积坐标系变换下的图形面积或体积的伸缩因子,即变换矩阵AAA行列式的一般性质|In|=det(In)=1|In|=det(In)=1|I_n| = det(I_n)=1设A=(α1,...,αn),B=(α1,...αi...原创 2018-03-27 21:05:45 · 1007 阅读 · 0 评论 -
线性代数笔记7:特征向量
特征值和特征向量在机器学习中有着很重要的应用,本文介绍一些相关的结论和证明,方便大家复习参考。 定义特征向量与特征值定义:对方阵AAA,若存在λλ\lambda 和非零向量xxx,满足Ax=λxAx=λxAx = \lambda x,则称λλ\lambda为矩阵AAA的特征值(eigenvalue),xxx为AAA属于特征值λλ\lambda的特征向量(eigenvect...原创 2018-03-29 11:10:05 · 1467 阅读 · 0 评论 -
线性代数笔记8:矩阵的对角化
本文主要讲矩阵对角化的证明及应用。 矩阵对角化条件定义一:若存在可逆矩阵SSS,使得S−1ASS−1ASS^{-1}AS为对角矩阵,则称为矩阵AAA是可对角化的(diagonalized)。设n×nn×nn\times n矩阵有nnn个线性无关的特征向量x1,...,xnx1,...,xnx_1,...,x_n,令S=(x1,...,xn)S=(x1,...,xn)S =(x_1,...原创 2018-04-02 21:33:36 · 31063 阅读 · 2 评论 -
线性代数笔记9:特征值在微分方程中的应用
本节将矩阵的特征值与微分方程联系在一起,从另一个角度更好地了解特征值。在差分方程中的应用首先回顾由差分方程uk+1=Aukuk+1=Auku_{k+1} = Au_{k}描述的离散动力系统的长期行为,即k⇒∞k⇒∞k\Rightarrow \infty 时解的性质。设AAA可对角化,即存在可逆矩阵S=(x1,...,xn)S=(x1,...,xn)S=(x_1,...,x_n)...原创 2018-04-24 18:52:32 · 9444 阅读 · 2 评论 -
线性代数笔记10:实对称矩阵
对于实对称矩阵而言,特征值和特征向量都有特殊的性质。定理实对称矩阵的特征值都是实数。∵x¯TAx=λx¯Tx=x¯TA¯Tx=(Ax)¯Tx=λ¯x¯Tx∵x¯TAx=λx¯Tx=x¯TA¯Tx=(Ax)¯Tx=λ¯x¯Tx\because \bar x^T Ax = \lambda \bar x^T x = \bar x^T \bar A^T x = \bar {(Ax)}...原创 2018-04-24 18:52:11 · 15150 阅读 · 0 评论 -
线性代数笔记11:正定矩阵理解及推导
正定矩阵及半正定矩阵在机器学习和深度学习中有很重要的应用。引言定义:特征值全是实数的实对称矩阵为正定矩阵(positive definite matrix)。类似的,若实对称矩阵的特征值均非负,则为半正定矩阵(positive semidefinite matrix)。可能用到的概念主子式定义:在nnn阶行列式中任选kkk行,再取相应的kkk列,将行列交汇处...原创 2018-04-12 16:54:07 · 30284 阅读 · 2 评论 -
线性代数笔记12:二次型与函数极值
这一节我们将看见,如何将数值函数用矩阵表示,并使用正定矩阵来指示函数的极值。二次型定义:对nnn维实向量xxx及nnn阶实对称矩阵AAA,称以下数值函数为一个实二次型(quadratic form),为一个二次齐次多项式。f(x)=xTAx=∑i=1n∑j=1naijxixjf(x)=xTAx=∑i=1n∑j=1naijxixjf(x) = x^TAx = \sum\limi...原创 2018-04-12 20:23:58 · 12074 阅读 · 1 评论 -
线性代数笔记14:范数与矩阵条件数
本文介绍向量范数、矩阵范数以及矩阵条件数。向量范数对于实向量xxx,下面给出几种常见的范数:1-范数:||x||1=∑i=1n|xi|||x||1=∑i=1n|xi|||x||_1 = \sum _{i = 1}^n |x_i|2-范数:||x||2=(∑i=1n|xi|2)12=(xTx)12||x||2=(∑i=1n|xi|2)12=(xTx)12||x||_...原创 2018-04-16 22:19:31 · 3122 阅读 · 0 评论 -
线性代数笔记13:PageRank问题建模
PageRank是谷歌搜索引擎的核心技术,在学习了矩阵之后,用这个实际例子实验一下。问题提出PageRank的核心思想就是:如果一个网页被很多其他网页链接到的话说明这个网页比较重要,也就是PageRank值会相对较高如果一个PageRank值很高的网页链接到一个其他的网页,那么被链接到的网页的PageRank值会相应地因此而提高因此,我们希望计算出每个网站的PR值,通...原创 2018-04-16 22:20:21 · 1044 阅读 · 0 评论 -
线性代数笔记15:SVD分解
本节在共轭转置的基础上介绍奇异值和奇异值分解。谱分解共轭转置矩阵AAA的共轭转置AHAHA^H(又称Hermite共轭、Hermite转置)定义为:AH=(A¯)T=AT¯AH=(A¯)T=AT¯A^H = (\bar A) ^T = \bar {A^T}酉矩阵设U∈Cn×nU∈Cn×nU \in C^{n\times n}阶复方阵,若UHU=IUHU=...原创 2018-04-24 18:51:01 · 1174 阅读 · 0 评论 -
线性代数笔记16:理解PCA
在SVD的基础上,深入理解PCA。本文涉及到仿射变换、SVD等多个概念,可以先看参考文献,本文作为复习理解之用。基本思想降维是机器学习中很常见的一种思维方式,一般来说,可以通过线性投影和非线性映射进行。PCA是一种简单的线性映射,当考虑降维时,我们一般有两种思路:找到d-维仿射变换子空间,在合适的投影下,新的投影点与原先的投影点就接近。也就是说,在新投影下能最大限度的...原创 2018-04-27 10:24:19 · 581 阅读 · 0 评论 -
线性代数笔记17:SVD通俗理解
前面已经对SVD进行了推导,但自己一直理解不够深入,知道看了Strang教授的视频才恍然大悟。思考对于对称矩阵,我们知道,可以分解为A=QΛQTA=QΛQTA = Q\Lambda Q^T,这是很美妙和对称的式子,但对于一般的矩阵,我们怎么能得到类似的式子呢?我们的目标是想要找到两组不同的正交矩阵(UUU,VVV)和对角矩阵ΛΛ\Lambda,来表示AAA。子空...原创 2018-04-28 11:05:52 · 1750 阅读 · 0 评论 -
线性代数笔记18:线性变换与基变换
每一个矩阵都可以看作是线性变换,矩阵乘法也是由线性变换的复合引出的。线性变换理解线性变换是一种映射,对于向量来说,就是线性空间到线性空间的映射。这里不严格给出线性变换的定义,但举例来说,投影变换、反射变换、不定积分等都可以看做是线性变换。与线性变换相对的是仿射变换,例如:T(x)=Ax+x0T(x)=Ax+x0T(x)= Ax + x_0就是一个仿射变换,可...原创 2018-05-09 20:56:28 · 24888 阅读 · 3 评论 -
线性代数导读+总结
一些学习线性代数的心得和资源分享,供大家参考。资源Introduction to Linear Algebra, Fifth Edition 学线性代数主要的参考书,Strang 教授也算是网红了,讲课讲得十分浅显易懂,网上有配套的video,强烈推荐。线性代数2清华马辉老师的线性代数慕课,讲法比较传统,但课件很清晰,不太需要看video也能看懂。这主要是针对相似矩...原创 2018-05-13 22:23:34 · 1177 阅读 · 0 评论