《深度学习》笔记----基础

《深度学习》笔记

1、线代及概率论基础定义

1.1、范数

范数：用于衡量向量的大小，定义的形式如下式：
$${\Vert x\Vert }_p={\left(\sum _i{\left|x_i\right|}^p\right)}^{\frac{1}{p}}$$

p=1时，即所有元素的绝对值的和（在回归中成为lasso回归，求得的解稀疏性更强）；p=2时称为欧几里得范数，p=无穷大时，表示这个向量具有最大幅值的元素的绝对值，p=1时作为表示非零元素数目的替代函数。

满足三个条件：
1.$f\left(x\right)=0\Rightarrow x=0$
2.$f\left(x+y\right)⩽f\left(x\right)+f\left(y\right)$（三角不等式）
3.$\forall \alpha \in R,f\left(\alpha x\right)=\left|\alpha \right|f\left(x\right)$

平方$L^2$范数（在回归中又被称作岭回归）：数学与计算上都比$L^2$本身方便，通过点积$X^{T}X$计算，但是在远点附近增长的很慢。

Frobenius范数：用于衡量矩阵的大小，常用于深度学习中，形式如下：
$${\Vert A\Vert }_F=\sqrt{\sum _{i,j}{A^2}_{i,j}}$$
类似于$L^2$范数。

两个向量用范数表示：
$$x^{T}y={\Vert x\Vert }_2{\Vert y\Vert }_2\cos \theta$$

1.2、随机变量

离散型随机变量：拥有有限或者可数无限多的状态，这些状态不一定为整数，也有可能是一些被命名的状态而没有数值。（可以一一列举而且可以数的例如骰子的点数）

连续型随机变量：伴随着实数值。（取值不可以一一列举，总数确定不了）

1.3、概率分布

描述随机变量或一簇随机变量在每一个可能取值的状态的可能性大小。

1.3.1、离散型

离散型随机变量用概率质量函数表示，通常每一个不同的随机变量都有不同的概率质量函数，概率质量函数将随机变量所能取得的每个状态映射到随机变量取得该状态的概率(你在说什么。。。？？？)

1.3.2、连续型

连续型随机变量用概率密度函数表示，这个东西没有直接对特定的状态给出概率，但给出了落在面积为$\delta x$的无限小的区域内的概率为$$p\left(x\right)\delta x$$

例如：在单变量的例子中，x落在[a,b]的概率为$${\int }_{|a,b|}p\left(x\right)dx$$

在连续型随机变量的概率密度函数中，某一点的意义不是概率值，是概率在该点的变化率（即导数）。

1.4、边缘概率

当我们知道了一组变量的联合概率分布，但我们想了解一个子集的概率分布，就引出了边缘概率分布。

例子：假设有离散随机变量x和y，我们知道$p\left(x,y\right)$，就可以求$$\forall x\in x,p\left(x=x\right)=\sum _{y}p\left(x=x,y=y\right)$$

连续型条件概率，则需要用积分代替求和：$$p\left(x\right)=\int p\left(x,y\right)dy$$

1.5、条件概率

计算某件事情在给定其他事件时发生的概率，计算公式如下：

$$P\left(y=y|x=x\right)=\frac{P\left(y=y,x=x\right)}{P\left(x=x\right)}$$