本文介绍了线性模型在机器学习中的应用，包括线性回归、对数几率回归、线性判别分析和多分类学习。线性回归通过最小二乘法确定模型参数，对数几率回归用对数几率函数解决分类问题，线性判别分析通过投影实现同类样本接近、异类样本远离。多分类学习采用拆解法，如一对一、一对其余和多对多策略。此外，还讨论了类别不平衡问题的处理方法，如调整决策阈值、过采样和欠采样。
基本形式
线性模型试图学的一个通过属性的线性组合来进行预测的函数。若x1、x2…是一个样本的的属性取值，则：
一般用向量形式写成：
将参数W和b学的之后，模型就得以确定。
线性模型形式简单，易于建模，有很好的可解释性。许多功能更为强大的非线性模型可在线性模型的基础上通过引进层级结构或高维映射而得。
线性回归
线性回归试图学得：
如何确定w和b呢？关键在于衡量f(x)和y之间的差别。均方误差是回归任务中最常用的性能度量，我们试图让均方误差最小化。
基于均方误差最小化来进行模型求解的方法称为最小二乘法。在线性回归中，最小二乘法就是试图找到一条线，使得所有样本到直线上的欧式距离之和最小。
最后求得：
最低0.47元/天 解锁文章
扫一扫
926
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
