斯坦福机器学习课程笔记

1，多元线性回归算法中，梯度下降法和正规方程之间的优缺点：

梯度下降法

优点：

1，时间负责度是O（k*n2），m是样本点的数量，n是特征的数量，对于特征数量比较大的时候计算速度较快；

缺点：

(1)，需要选择学习率，可能要试很多次，还要判断是否收敛；

(2)，特征还需要做标准化，不然有可能收敛速度很慢，算法很慢。

(3)，需要多次迭代。

正规方程

优点：

(1)，直接求解析解，求得的解是最优的；

(2)，不需要选择学习率，不需要特征标准化，直接解一个逆阵；

缺点：

(1)，特征数量较多时，时间复杂度较高，因为求解逆阵的时间复杂度是O（n3），如果特征数量上万时，我们就会选择梯度下降法；

2，关于损失函数的选取，一般损失函数我们有0-1损失，均方误差损失，对数似然损失函数等，我们要保证损失函数是凸的，这样就能保证我们得到的局部最优是全局最优。如在logistic回归中，如果选择均方误差损失函数，就会导致经验函数会出现很多局部最优解，这样最终得到的最优解就不是最好的。