1 输入特征的值域归一化
输入特征的值域相差太大的话会导致Cost函数的梯度不均匀。Cost函数等高线为扁椭圆,梯度下降时会有长时搜索。
如果值域差不多,Cost函数的等高线近似圆形。梯度下降较快。
归一化方法:
x−mean(x)max(x)−min(x)
理想值域在[-1,1]。当然[-5, 5] 之类的也没有关系。只要不要有数量级的差别就可以。
2学习率选择
学习率的变化可以近似3的倍速增减。
-> 1-> 0.3-> 0.1 -> 0.03 -> 0.01 -> 0.003 -> 0.001 ->
3 Linear Regression 与 Logistic Regression中的参数更新的形式相同,本质不同
θj:=θj−α∂∂θjJ(θ)=θj−α1m∑i=1m(hθ(xi)−yi))xi
Linear Regression中的输出代表的是线性拟合的值,公式如下:
hθ(x)=θTx
但是Logistic Regression的输出代表的是概率,公式如下:
hθ(x)=11+e−θTx
所以Linear Regression 与Logistic Regression的参数更新的形式相同,本质是不同的。