07. 训练神经网络2

• 数据预处理

  • 归一化 Normalization
  • PCA降维和白化

• 权重初始化

• 批量归一化 Batch Normalization

• 正则化

  • L1, L2正则化
  • Dropout and 反向 Dropout
• 属性分类:一个样本有多个标签
• 偏差和方差 bias and variance

1. 数据预处理

对原始数据进行预处理:

均值减法（Mean subtraction）

### 对数据每个维度减去平均值
X -= np.mean(X, axis = 0)
### 对图像的话,是所有的维度减去一个平均值
X -= np.mean(X)

归一化（Normalization）
是指将数据的所有维度都归一化，使其数值范围都近似相等。
先做零中心化,然后每个维度除以标准差.

X /= np.std(X, axis = 0)

---

PCA和白化

PCA: 统计分析和机器学习里面常用的降维算法~~主成分分析

为什么要降维??

feature太多会造成模型复杂，训练速度过慢，因此我们引入降维。

About Visualization：
多维数据很难进行可视化分析，因此我们需要降维分析。

PCA的数学原理
http://blog.codinglabs.org/articles/pca-tutorial.html

总结下就是:

1)输入数据是(m,n),即n个样本,m维特征.可以看作是m个特征向量

2) PCA就是将m维特征向量转换到k(k

\end{pmatrix}

$$\begin{pmatrix} p_1a_1 & p_1a_2 & \cdots & p_1a_n \\ p_2a_1 & p_2a_2 & \cdots & p_2a_n \\ \vdots & \vdots & \ddots & \vdots \\ p_Ra_1 & p_Ra_2 & \cdots & p_Ra_n \end{pmatrix}$$ $$
$p_i$是行向量,表示基向量中第i个向量,$a_j$是一个列向量,表示第j个样本.

4) 降低特征数量就是减少单位基向量,新的基向量可以不一定是正交基,新的基向量个数之后再说~而是尽量让原始数据转换到基向量上之后保存的信息最多!

• 怎么才是保存最大的信息呢?
• 一种直观的看法是：希望投影后的投影值尽可能分散。数学上表征离散程度,可以用方差~~也就是找出一个基向量,使得原始数据向量投影到它上面之后,方差最大~
  $$Var(a)=\frac{1}{n}\sum_{i=1}^n{(a_i-\mu)^2}$$
  $$Var(a)=\frac{1}{n}\sum_{i=1}^n{a_i^2}$$
• 找到了一个基,怎么确定第二个,第三个…显然如果还是以方差最大为目标,那么第二个基和第一个基几乎重合了吧.那么他们得到的信息其实是一样的所以应该尽量让第二个基和第一个基相关系越小越好~怎么数学上表征两个向量相关系小呢,就是他们内积得到的结果很小呀~~

$$Cov(a,b)=\frac{1}{n}\sum_{i=1}^n{a_ib_i}$$

5) 很巧的是,对于原始数据X,其协防差矩阵可以表示它信息量的多少~

$$X=\begin{pmatrix} a_1 & a_2 & \cdots & a_n \\ b_1 & b_2 & \cdots & b_n \end{pmatrix}$$
$假设只有2维特征,(a_1,b_1)表示一个样本,总共有n个样本$

C=1nXX