周志华——机器学习 第三章笔记

第三章 线性模型

3.1 基本形式

给定由d个属性描述的示例 x = （x1,x2,...xd）,其中xi是x在第i个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即

f(x) = w1x1+w2x2+...+wdxd+b

一般用向量形式写成

f(x) = wTx+b

其中 w = (w1,w2,...wd). w和d学得之后，模型就得以确定。

• 线性模型形式简单，易于建模，但却蕴含着机器学习中一些重要的基本思想

• 许多功能更为强大的非线性模型可在线性模型的基础上引入层级结构或高维映射而得

• w直观表达了各属性在预测中的重要性，因此线性模型有很好的可解释性。如若在西瓜问题中学得“f好瓜（x） = 0.2x色泽+0.5x根蒂+0.3x~敲声+1”，则意味着可以通过综合考虑色泽、根蒂，敲声来判断瓜好不好，其中根蒂最紧，而敲声比色泽更重要。

3.2 线性回归

考虑最简单的情形:输入属性的数目只有一个，忽略关于属性的下标，即D = {（xi,yi）}i=1m,其中xi∈R。

• 若属性值之间存在“序”关系，则可通过连续化将其转化为连续值。

• 如二值属性"身高"的取值"高" "矮"可转化为 {1.0,0.0} ,

• 三值属性"高度" 的取值"高" "中" "低"可转化为 {1,0.5,0.0};

• 若属性值间不存在序关系，假定有k个属性值，则通常转化为k维向量，例如属性"瓜类"的取值"西

  瓜" "南瓜" "黄瓜"可转化为