机器学习入门 2

参数（多种特征）

 

 

具有n个特征的模型

 

简化后：

 

 

特征缩放

缩放w,b，使它们都具有相当的数值范围可以显著加快梯度下降

 

如何合理地缩放？

Feature scaling:

 

Mean normalization归一化:

 

Z-score normalization:

 

合理的范围

 

如何检查梯度下降是否收敛

1）看收敛曲线

收敛表示找到了接近最小值的参数w和b，j

2）

 

学习率的选择

将alpha设为一个非常小的数字，看是否会导致每次迭代的成本降低

如果即使alphabet设置为一个非常小的数字，j不会在每次迭代中减小，但有时反而增加，这说明有bug

如果alpha取得太小，需要的迭代次数会很多

 

特征工程：创建一个新的特征

Using intuition to design new features, by transforming or combining original features.

多项式回归

1）多项式

 

2）平方根形式