线性回归的一些思考（SVM）

1、对于线性回归模型的代价函数，为了能应用求导来求其最小值（代价函数可导），不能用错误的分类个数作为代价函数（不可导）又或者用S函数（非凸函数，不能应用梯度下降，转化为log凸函数），简单的做法就是转化为距离（统计学习方法书中提到的）或者机器学习课堂上讲到的几种形式，这些形式都可导。
2、线性模型中，对于简单的代价函数是可以直接求导得到（比如机器学习课堂上讲的简单线性回归模型），但是一般都采用梯度下降（平方最小误差代价函数是凸函数，凸函数的性质：局部最小就是全局最小），而且迭代速度有上限（统计学习方法有证明），比较快。
3、SVM模型的代价函数为什么不能用梯度下降呢？因为它有限制条件。有限制条件的凸函数优化问题，利用拉格朗日的对偶性，求解不带有限制条件的优化问题（其实还是有限制，只不过参数结果人为控制），这个求解的算法过程其实还是用了类似梯度下降的思想。同样对于线性回归的没有限制的代价函数，也是有对偶形式的。