在监督学习中,许多学习算法的性能非常相似,下面介绍一个更加强大的广泛应用于工业界和学术界的算法------支持向量机算法,支持向量机可以理解为从Logistic回归模型一点一点修改而来。
我们先回顾一下Logistic回归的假设函数:
当z → +∞ g(z) → 1
当z → -∞ g(z) → 0
Logistic回归的代价函数:
将‘—’负号移进去,上式可以写成:
下面从Logistic回归的代价函数开始一点一点修改:
第一步、简化Logistic回归代价函数的
因 为常量,且m>0,则m的取值对 求代价函数J最小值时 的最优解θ 无影响: