【深度学习基础】从零开始的炼丹生活00——机器学习数学基础以及数值计算数值优化方法

正值假期，决定恶补机器学习、深度学习及相关领域（顺便开个博客）。首先学习一下数学基础以及数值计算的方法（主要参考《深度学习》）

一、数学基础

这里简单复习一下机器学习相关的数学

1.线性代数

范数
衡量一个向量的大小,对Lp范数，有：
$${\Vert x\Vert }_p={\left(\sum _i{\left|x_i\right|}^p\right)}^{\frac{1}{p}}$$
其中 $p\in \mathbb{R},p\ge 1$.
对一切范数（包括Lp），满足下列性质：

• $t\left(x\right)=0\Rightarrow x=0;$

• $f\left(x+y\right)\le f\left(x\right)+f\left(y\right);$(三角不等式）

• $\forall \alpha \in \mathbb{R},f\left(ax\right)=\left|a\right|f\left(x\right).$

1. L0范数指的是向量中非零元素的个数
2. L1范数可以用于机器学习中0与非0元素之间的差异十分重要时。也能让模型变得更加稀疏。（常替代L0）
3. 最大范数：L∞范数 表示向量中具有最大幅值元素的绝对值。${\Vert x\Vert }_{\infty }={\max }_i{\left|x\right|}_i$
4. 要衡量矩阵的大小，最常用的是使用Frobenius范数,即${\Vert A\Vert }_F=\sqrt{{\sum }_{i,j}{A}_{i,j}^2}$.

进一步学习：
L0、L1、L2范数在机器学习中的应用
范数对于数学的意义？1范数、2范数、无穷范数

正交矩阵
行向量和列向量是分别标准正交的方阵
$$\begin{array}{r}A{A}^T=I;\\ A^{-1}=A^T\end{array}$$

特征分解
特征分解可以知晓一些矩阵隐含的性质。

• 特征向量：与$A$相乘后相当于对该向量进行缩放的非零向量$v$
  $$Av=\lambda v$$

  其中λ为特征向量对应的特征值。（通常指右特征向量）
  由于$kv$与$v$y特征值相同，一般情况下只考虑单位特征向量。

• 若$A$有n个线性无关的特征向量$\left\{v^{(1)},v^{(2)},\dots ,v^{\left(n\right)}\right\}$，对应n个特征值 { λ 1 , λ 2 , … , λ n } \{\lambda_1,\lambda_2,\ldots,\lambda_n\} { λ1​,λ2​,…,λn​}。将特征向量连接成一个矩阵，使得每一列都是一个特征向量$V=[v^{(1)},v^{(2)},\dots ,v^{(n)}]$特征值也连接成一个向量λ。
  $A$的特征分解指 $$A=Vdiag\left(\lambda \right)V^{-1}$$

机器学习中通常不会遇到复数的特征分解，一般我们会处理实对称矩阵，它一定可以分解为$A=Q\Lambda Q^T$ 其中$Q$为正交矩阵，由 A A