深度学习基础理论篇（1）线性代数

最新推荐文章于 2024-08-21 20:34:21 发布

m0_74196436

最新推荐文章于 2024-08-21 20:34:21 发布

阅读量64

点赞数

文章标签：线性代数机器学习人工智能

本文链接：https://blog.csdn.net/m0_74196436/article/details/132916225

版权

线性代数的本质：用不同的方式和角度，对空间的变换进行不同的描述

同一个点在不同的坐标系下，其坐标是不同的，而线性代数可以反映同一个点在不同坐标系的坐标和不同坐标的关系

一.向量和线性组合

向量（vector）：是一种包含大小和方向的量。只由它的方向和长度来决定，与位置无关。

向量的长度（或模）： $|(x, y) |=\sqrt{\left (x^{2}+y^{2} \right )}$

比如，点A平面坐标为(x, y)，点O平面坐标为(0,0),向量 $\underset{OA}{\rightarrow}$ =(x-0, y-0)=(x, y)

向量的加减法：三角形法则 / 平行四边形法则

加法：首尾相连减法：尾尾相连

向量的乘法：

点乘（内积）： $\vec{a}=\begin{pmatrix}a_{1} \\ a_{2} \\ \vdots \\a_{n} \end{pmatrix},\vec{b}=\begin{pmatrix}b_{1} \\ b_{2} \\ \vdots \\ b_{n} \end{pmatrix}$

$\vec{a}\cdot \vec{b}=a_{1}b_{1}+a_{2}b_{2}+\cdots +a_{n}b_{n}$ =C（常数）

C>0, $\theta \in \left ( 0^{\circ} ,90^{\circ}\right )$ ; C=0, $\theta =90^{\circ}$ ; C<0, $\theta \in \left ( 90^{\circ}, 180^{\circ} \right )$

叉乘（外积）： $\vec{a}=\left ( a_{1}, a_{2}, a_{3} \right ), \vec{b}=\left ( b_{1}, b_{2}, b_{3} \right )$

$\vec{a}\times \vec{b}=\begin{vmatrix} \vec{i} & \vec{j} & \vec{k} \\ a_{1}& a_{2}& a_{3}\\ b_{1}& b_{2}& b_{3} \end{vmatrix}=\left ( a_{2}b_{3}-a_{3}b_{2} \right )\vec{i}-\left ( a_{1}b_{3}-a_{3}b_{1} \right )\vec{j}+\left ( a_{1}b_{2}-a_{2}b_{1} \right )\vec{k}$

得到的结果是垂直于两向量所确定平面的一个向量

线性组合： $c_{1},c_{2},\cdots ,c_{k}$ 为常数， $\mathbf{v}_{1},\mathbf{v}_{2},\cdots ,\mathbf{v}_{k}$ 为 $\mathbf{R}^{n}$ 中的向量，

$c_{1}\mathbf{v}_{1}+c_{2}\mathbf{v}_{2}+\cdots +c_{k}\mathbf{v}_{k}$

为向量 $\mathbf{v}_{1},\mathbf{v}_{2},\cdots ,\mathbf{v}_{k}$ 的线性组合

线性表示就是用线性组合来表示

线性相关：存在不为零的系数使线性组合为零

线性无关：n个向量组成的向量组的线性组合只在系数为零时是为零

理解：若有两个线性无关的向量，则表示其中一个向量为另一个向量提供了一个新的维度。即，n个线性无关的向量可以通过线性组合张成一个n维空间。

通俗来讲就是说，一个向量表示一条线，是一维空间；现在有另一个与之线性无关的向量，为它提供了一个新的维度，使两个向量组成的线性组合表示成一张平面，是二维空间。

也就是说，原来的一维向量叠加了一个线性无关的向量，就是叠加了一个维度，实现了一维向二维的转变。反之，线性相关就没有提供一个新的维度。

张成空间：向量的全部线性组合所构成的向量集合

秩：该向量组张成空间的维度。向量组有多少个线性无关的向量，秩就是多少。

二.矩阵和线性变换

矩阵：形如 $\begin{bmatrix} a_{11} & a_{12} & \cdots &a_{1n} \\ a_{21} & a_{22} & \cdots &a_{1n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} &a_{m2} & \cdots & a_{mn} \end{bmatrix}$ 或 $\begin{pmatrix} a_{11} & a_{12} & \cdots &a_{1n} \\ a_{21} & a_{22} & \cdots &a_{1n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} &a_{m2} & \cdots & a_{mn} \end{pmatrix}$

标准正交基：向量两两垂直，且模长为1