机器学习
6-1 分类
预测离散值y的分类问题可以使用logistic回归算法
正类:1,通常表示肯定,有某样东西
负类:0,通常表示否定,没有某样东西
设置阈值0.5进行离散的0、1分类
将线性回归用于分类问题通常不能很好地解决问题
如何解决下图中预测函数h输出值>1或者<0的问题呢?
引入了logistic回归函数用于分类问题
6-2 假设陈述
假设展示
当有一个分类问题时,应该使用什么方程来表示假设?
这里用到了sigmoid函数和logistic函数
假设函数hx的输出是对给定输入x的分类 y=1的概率预测。
6-3 决策界限
决策边界是什么?
假设已经拟定好了参数向量为[3、1、1],观察其预测情况,如下图所示
决策边界即图中这条洋红色的线,即x+y=3。
决策边界是假设函数的一个属性,将整个区域划分为两部分,分别是y=1和y=0的区域,由假设函数及其参数决定,而不是由训练集决定的。
怎么使用logistic来拟合如图的数据?
可以在特征中添加额外的高阶多项式项
假设已经选择好了参数向量[-1,0,0,1,1]
决策边界为圆形洋红色的线。通过在特征中添加更复杂的高阶多项式可以得到更复杂的决定边界。
6-4 代价函数
如何拟合logistic回归模型的参数?
用来拟合参数的优化目标叫代价函数。
一个logistic回归模型:
如果继续使用之前的代价函数:
会发现使用sigmoid生成的代价函数是一个非凸函数:有很多局部最优解,很难使用梯度下降法找到最优解。
我们希望代价函数是一个凸函数,单弓形函数,这样式样梯度下降法才能收敛到该函数的全局最小值。
换个代价函数!
y=1:
如果正确预测了y=1,代价为0;
如果错误预测了y=0,代价激增,趋近于无穷;
y=0:
如果正确预测了y=0,代价为0;
如果错误预测了y=1,代价激增,趋近于无穷;
6-5 简化代价函数与梯度下降
由于y只能取0或者1,我们可以把代价函数简化为
这个式子是从极大似然法得来的,它是统计学中为不同模型快速寻找参数的方法 且 它是凸的。
根据这个代价函数,为了拟合参数,要找到让代价函数取得最小值的参数。
6-6 高级优化
高级优化算法
高级优化概念
可以使用共轭梯度法 BFGS和L-BFGS等更高级的优化算法来代替梯度下降法
优点:不需要手动选择学习率,智能内循环,线搜索算法,自动尝试不同的学习率,选择一个好的学习率,为每次迭代选择不同的学习速率,收敛地比梯度下降法快
缺点:复杂
6-7 多分类:一对多
针对多类别分类问题:
将这个训练集转化为三个独立的二分类问题