6.分类
一、引入
把线性回归用于分类问题,通常不是一个好办法
1.线性回归的预测值不一定恒在值于(0,1)
2.异常值影响对线性回归影响较大
因而,我们找到了一个分类算法 logistic回归(这是一个分类算法)
g(x)这个函数,使得输出的值域在(0,1)
由上可得,当ΘTx<0时,y取0,反之取1,x=0处称作决策边界
二、决策边界
决策边界的选择:
我们并不需要训练集的详细数据,就可以直接选择参数Θ,来划定决策边界,因而决策边界是函数的基本属性,不受数据集的影响
三、代价函数(1)
由于logistic回归的h(x)非线性,因而cost函数将会变成一个non-convex函数(非凹函数),这将导致梯度下降函数失效
因上述原因,我们定义了一个新的Cost函数
当y=1时,假设函数
越接近1的话,惩罚函数(Cost)的惩罚值就会变小,如果假设函数趋于0的话,就会惩罚该算法。
当y=0时同理
四、代价函数(2)
代价函数的简化
梯度下降
这个式子是通过极大似然法推出的,这里不作详解
性质:凹函数
知道了梯度函数,就需要求其最小值,来拟合函数
其实这个函数就是线性回归的梯度下降函数,他们的区别就是假设函数的改变
所以说并不能混为一谈
五、高级优化算法
这些高级算法,只要会使用他们就可以了,不用深究原理
六 一对多分类算法
y可以取1,2,3等等离散值,不仅限于0,1
大致方法就是,训练多个逻辑分类器,如上图,设三角形为正,其余为负,以此类推作出剩下的两个分类器
x = 1,判断是否为三角形
总结:
今天的机器学习就到这里了,算法的代码可能会补上