基本概念
给定输入有为(x,y)
,其中x表示学习特征,y表示输出,m表示输入总数,有监督学习旨在根据输入建立能够预测可能输出的模型,大致可以分为回归和分类两种,代表可能输出是无限的或是有限可能。
模型
线性回归模型
通过数据集建立回归模型,表现形式为根据数据点建立曲线,如y~=wx+b
,用于预测无限可能的数字。
分类模型
少量可能输出的预测,比如图片内容识别,音频字符识别等情况。
基本训练过程为
训练集—学习算法—预测方法
成本函数J
用于衡量建立曲线与数据点的差异大小,即曲线的拟合程度,通过平均误差成本函数实现—
除m
是为了避免误差随着数据集增大而增大,而除2是为了后续化简,使程序整洁。
构建模型的目的是使成本函数J尽可能小,为了简化,暂时不考虑b。
梯度下降
找w
和b
使成本函数最小的方法,也是逐步确定拟合曲线的方法,将参数初始化为0,每次尝试使J
减小的方向,可视化如下:
本质是通过切线找到三维图像的最低点,从任意点开始找w
和b
使成本函数最小的方法如式:
上述两个迭代公式需同步计算,上述步骤不断重复直到收敛,可以实现成本函数不断向局部最小值更新,其中a
又称学习率,用于控制上下坡的步幅。
以建立模型的用途大致可以分为两种,预测连续值的线性回归和离散预测的分类,介绍如下:
线性回归
用向量分别表示输入x
和参数w
,f(x)=w·x+b
,特征多数据大时,传统计算方法耗时很长,故考虑采取其他技术解决。
矢量化
w=np.array([])
,x=np.array([])
生成向量,但计算时不使用循环乘法,二十直接调用f=np.dot(w,x)+b
实现点积运算,该方法快于for
循环,使用并行硬件,执行快。
梯度下降
w
由原有计算式带入可得
相应的,b
的新计算式为
这里求导平方的2就和成本函数J
分母加的2抵消,使式子简洁。
另外还有法方程法可用,但该方法并不通用,只在这种场景下可以无需迭代求解w
和b
,但梯度下降是通用的方法。
特征缩放
单个特征对J
的影响很大时,会导致曲线变化太大,梯度下降来回跳动,无法找到极值点,如下图
此时我们可以选择缩放特性,使整体的特征值大致在同一范围内,使用除法或平均归一化方法。
判断收敛
通过学习曲线检查梯度下降是否收敛,如下图
可以看出随着迭代次数的上升成本函数不断下降并趋于一个固定值,此时可以声明其收敛,但该方法的难度在于确定一个阈值。
选择学习率
太小则计算步骤增多,太大则可能跨过极值点,导致计算永远达不到最小值,需要尝试绘图找到合适的值,在接近最小值后由于偏导变化,步子会自动变小,同样需要尝试根据学习曲线图像选择。
如果学习曲线上下摆动,则可能是学习率的选择过于大了。
选择特征
可以根据需要创建新特性,如果曲线不能线性拟合,也可以使用特征多项式提高特征次数,获得拟合曲线,在该部分特征缩放显得尤其重要。
logistic回归
用于分类,拟合一条横S
曲线,用于二进制的分类,具体公式如下,其中z=w·x+b
,0<g(z)<1
图像大致如下:
该模型输出一个范围0-1
的数字,代表分类为1
的概率,多用于广告推荐算法,输出概率需设置阈值判定,常见的为0.5,该阈值称为决策边界,也就是z
为0时的取值。
损失函数
单个点的损失L
表示为:
L(z,y)= -log(z) y=1
-log(1-z) y=0
具体含义为,当y=1,预测为真则无损,预测为0则损失极大,y=0相同,预测为1损失极大,预测为0无损,区间的损失用对数函数覆盖。
上述损失可以简化为:
当y=1
或y=0
时带入都可化简为初始式子。
总的损失函数J
是所有点损失集合的平均数,表示为:
梯度下降
二者同样需要同时计算,与线性回归的区别只在f(x)
上,一个是f=w·x+b
,另一个是指数形式1/1+e^(w·x+b)
。
其他
矢量化,特征缩放,判断收敛等,都与线性回归相同。
正则化
拟合与数据不匹配,称为偏差,拟合符合数据,但变化太多不能适应新数据,称为方差,或过拟合,如下三图分别表示偏差,合格拟合和方差。
解决过拟合的方法有:
1,收集更多数据,更大的训练集可以限制函数,拟合出摆动没那么大的图像
2,减少特征,数据不足但特征过多,易过拟合
3,减少参数大小,惩罚所有特征,可以使函数更平滑,表示公式如图:
其中lambda>0
,使用正则化成本函数的思想为使w
尽可能小。
正则化线性回归梯度下降
原有成本函数梯度下降为:
正则化logistic回归梯度下降
总结
本章学习了监督学习的两种算法,回归和分类,分别用于处理预测无限可能的数字,和有限输出的类型,本质都是通过对已有的数据建立拟合模型来实现,区别在于拟合曲线不同,拟合模型内部通过成本函数来衡量预测结果,每次模型调整又借助梯度下降实现,三者统一完成模型的建立与调整,最后,通过正则化来解决过拟合。
总结的总结,有监督学习的要点:标签、拟合曲线、成本函数、梯度下降、正则化,另外与无监督学习的区别就在于训练集有标签,在特定领域和指定情况效果佳。
另外,正则化之前的函数中分母m
或2m
应该提到最前并改为1/m
,修改工作量大偷个小懒。