Deep Learning Notes(1):值域，学习率，参数迭代形式

1 输入特征的值域归一化

输入特征的值域相差太大的话会导致Cost函数的梯度不均匀。Cost函数等高线为扁椭圆，梯度下降时会有长时搜索。

如果值域差不多，Cost函数的等高线近似圆形。梯度下降较快。

归一化方法：

$$\frac{x-mean(x)}{max(x)-min(x)}$$

理想值域在[-1，1]。当然[-5, 5] 之类的也没有关系。只要不要有数量级的差别就可以。

2学习率选择

学习率的变化可以近似3的倍速增减。

-> 1-> 0.3-> 0.1 -> 0.03 -> 0.01 -> 0.003 -> 0.001 ->

3 Linear Regression 与 Logistic Regression中的参数更新的形式相同，本质不同

$$\theta_j :=\theta_j-\alpha \frac{\partial }{\partial \theta_j}J(\theta)\\ =\theta_j-\alpha\frac{1}{m} \sum_{i=1}^{m} (h_\theta (x^i)-y^i))x^i$$
Linear Regression中的输出代表的是线性拟合的值，公式如下：
$$h_{\theta}(x)=\theta^Tx$$
但是Logistic Regression的输出代表的是概率，公式如下：
$$h_{\theta}(x)=\frac{1}{1+e^{-\theta^Tx}}$$
所以Linear Regression 与Logistic Regression的参数更新的形式相同，本质是不同的。