本章主要介绍线性模型进行二分类和多分类问题。
1、线性回归 线性回归模型在机器学习中应用广泛,通常,线性模型表示为属性的显性组合,即
更一般的形式为:
损失函数定义为真实值与预测值之间的差,通常使用均方误差来表示:
2、对数几率回归
显性回归通常用于模型对真实样本的拟合,无法解决分类问题,为此,对数回归几率模型引入单调可微的sigmoid函数(与深度学习中的激活函数类似),也叫逻辑函数,定义为:
对数几率回归的损失函数定义为:
使用极大似然估计对模型参数进行估计,就可以得到对数几率回归模型。
3、线性判别分析(LDA)
此LDA模型非主体模型中的LDA(Latent Dirichlet Allocation),其实是一种降维的方法,将样本投影到二维的直线上。 该模型的目标函数为: