本文详细介绍了线性模型，包括线性模型的基本形式、线性回归、对数几率回归、线性判别分析（LDA）以及多分类学习。线性模型通过属性的线性组合进行预测，易于建模并具有良好的可解释性。线性回归利用最小二乘法求解参数，对数几率回归处理二分类问题，LDA旨在最大化同类样例的接近性和异类样例的间隔。对于多分类问题，介绍了“一对一”、“一对其余”和“多对多”的拆分策略。
第三章 线性模型
3.1 基本形式
给定由d个属性描述的示例 x = （x1,x2,...xd）,其中xi是x在第i个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即
f(x) = w1x1+w2x2+...+wdxd+b
一般用向量形式写成
f(x) = wTx+b
其中 w = (w1,w2,...wd). w和d学得之后，模型就得以确定。
-
线性模型形式简单，易于建模，但却蕴含着机器学习中一些重要的基本思想
-
许多功能更为强大的非线性模型可在线性模型的基础上引入层级结构或高维映射而得
-
w直观表达了各属性在预测中的重要性，因此线性模型有很好的可解释性。如若在西瓜问题中学得“f好瓜（x） = 0.2x色泽+0.5x根蒂+0.3x~敲声+1”，则意味着可以通过综合考虑色泽、根蒂，敲声来判断瓜好不好，其中根蒂最紧，而敲声比色泽更重要。
3.2 线性回归
考虑最简单的情形:输入属性的数目只有一个，忽略关于属性的下标，即D = {（xi,yi）}i=1m,其中xi∈R。
-
若属性值之间存在“序”关系，则可通过连续化将其转化为连续值。
-
如二值属性"身高"的取值"高" "矮"可转化为 {1.0,0.0} ,
-
三值属性"高度" 的取值"高"
最低0.47元/天 解锁文章
908
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
