《机器学习by周志华》学习笔记-线性模型-01基本形式与线性回归

1、基本形式

1.1、概念公式

给定由d个属性描述的示例x：

其中每个属性的权重：

其中xi是x在第i个属性上的值，线性模型试图学习一个通过属性线性作何来预测的函数，即：

用向量形式写成：

当w和b的参数学得之后，模型就可以确定。也叫「可理解性」

1.2、性质

1.2.1、优点

• 形式简单
• 易与建模
• 蕴含机器学习中一些重要的基本思想
• 功能强大的非线性模型可在线性模型的基础上引入层级结构或高维映射得到
• 由于w直观表达了每个属性的权重，因此线性模型具有很好的可解释性。

1.2.2、案例说明

本书开头介绍了好瓜的评判标准，根据以上我们将：

好瓜模型设为：，其中色泽用c表示，根蒂用r表示，敲声用s表示。则可得出好瓜模型：

其中权重w：

根据上面案例，我们可以知道：

则意味着我们可以通过色泽c、根蒂r、以及敲声s来判断瓜是否是好瓜。

其中根蒂最要紧，其次是敲声，最后是颜色。根蒂比敲声重要，敲声比颜色重要。

2、线性回归

2.1、公式推理

给定m个样本的数据集D：

其中每个样本含有d个属性值。则：

当属性值之间存在“序(order)”的关系，可通过连续化将其转化为连续值。

例如：

二值属性身高取值「高」「矮」，可转化为{1,0}

三值属性高度取值「高」「中」「低」，可转化为{3,2,1}

当属性值之间不存在“序(order)”的关系，可通过k个属性值用k维向量表示。

例如：

颜色属性有红、黄、蓝、绿4种，则转化为4维向量

红(1,0,0,0)

黄(0,1,0,0)

蓝(0,0,1,0)

绿(0,0,0,1) 

2.2、参数确认

2.2.1、属性值d