深度学习_２

ML中的数学

这里把对应的基础概念进行了总结，后面会一些概念进行补充，后面会对这些概念进行工程上的使用,后面会用pytorch进行实现。

线性代数

​ 线性代数面对的是连续数学而不是离散数学，在机器学习中占有很大的比重，线性代数的数学概念比大学所接触的要多很多概念，大学那些线性代数是不足以去满足机器学习要求的。

标量，矩阵，张量

这里只是写一些基础概念，对于大学甚至考研期间经常用的一些的基础知识就不进行赘述。

标量

​ 标量是一个单独的数字，不是１＊１的矩阵

向量

• 向量:是ｎ*1，或者１×ｎ，如果我们把向量看成空间上的点，那么每个数字就是对应坐标轴的坐标

$$x=\left[\begin{array}{c}{x}_1\\ x_2\\ .\\ x_i\end{array}\right]$$

• 向量的下标表示指引，我们通常会把向量进行重组，或者根据序列号进行索引， 代码中我们也会用$x_{-1}$来表示最后一位， 用下面表示除了集合Ｓ以外所有的向量
  $$x_{-S}$$

矩阵，张量

• 一个n*n的数组，每个元素由两个索引进行确定，标记为大写字母,其中有一个矩阵的概念，转置进行镜像翻转

• 通常我们把超过二维的称之为张量
  $$A_{i,j,k}$$

• 广播🚡 把向量ｂ和Ａ的每一行相加
  $$C_{i,j}=A_{i,j}+b_j$$

线性相关与生成子空间－用于矩阵间的互相表示

方程组的解

如果Ａ的逆矩阵存在，那么对于任意ｂ，Ax=b恰好存在一个解

对于方程组而言ｂ却不一定完全有解或者有多个解

如果ｘ，ｙ都是方程组的解，那么
$$ｚ＝\alpha x+(1-\alpha )y$$
一定是方程组的解，Ａ分解为向量的线性组合，就是生成子空间，所以这里的主要就是解方程

范数-用于描述矩阵（向量）的大小xuexi

​ 我们用范数去衡量一个向量的大小，而不是ｎ维时候的行列式,对于$L^P$
$$||x|{|}_p=(\sum _i^n|x_i{|}^p{)}^{\frac{1}{p}}$$
​

​ 然后我们就可以用一些数学的方法对其进行使用,比如一些不等式运算，满足线性，其中ｐ＝２的时候，称之为欧几里得范数。$p=\infty$时候，称xiangliang之为最大范数。 深度学习中我们也会用到Frobenius范数来衡量矩阵的大小
$$||x|{|}_F=\sqrt{\sum _{i,j}^n{A}_{i,j}^2}$$

特征分解

也就是矩阵里面的特征值运算，分解为几个可以表示矩阵的量，其中Ａ的特征向量这么运算
$$Ａv=\lambda v$$
我们把$\lambda$称之为特征值（标量），ｖ为特征向量。

奇异值分解

我们还有另外一种分解向量的办法，分为奇异向量和奇异值（奇异种子233333）,也会得到和特征分解一样的信息。然而，奇异值分解更广泛。

​ 这个是特征值分解，其中Ｖ是特征向量构成的矩阵，ｒ是特征值构成的向量矩阵
$$Ａ=Vdiag(\lambda )V^{-1}$$
​ 对于奇异分解：其中Ｕ和Ｖ都是正交矩阵，Ｄ为对角矩阵
$$A=UD{V}^T$$

• 左奇异矩阵：Ｕ的列向量，是$A{A}^T$的特征向量
• 右奇异矩阵：Ｖ的列向量，是$A^{T}A$的特征向量

Moore-Penrose 伪逆

对于非方矩阵A，我们就无法计算$A^{-1}$,也无法解一些方程

这里定义伪逆的概念
$${Ａ}^{+}=li{m}_{\alpha -0}(A^{T}A+\alpha I{)}^{-1}{A}^T$$
由于计算的时候比较困难，引入极限，所以计算时候基本使用如下的计算方式，这里的参数对应奇异分解的矩阵
$$A^{+}=V{D}^{+}{U}^T$$

迹

我们把对角线之和称之为逆
$$Tr(A)=\sum _i{A}_{i,i}$$
迹运算也有很多用，比如用于Frobenius范数：
$$||A|{|}_F=\sqrt{Tr(A^{T}A)}$$

这里就是全部的线性代数的基础概念