《机器学习（周志华西瓜书）》学习笔记1：第三章-线性模型

一、线性回归

    线性回归的基本思想是采用对输入样例各个特征进行线性加权的方式得到预测的输出，并将预测的输出和真实值的均方误差最小化。1）如果输入样例只有一个特征，那这个过程就是用一条直线去拟合平面直角坐标系上的点； 2）如果有两个特征，表现在平面直角坐标系上就是用一条直线将用不同标记（如XX和OO）区分的输入样例分割开来；3）如果有两个以上特征，那就会映射到高维空间，用超平面来分割。

    对于离散属性，若属性值间存在“序”关系，则可以通过连续化将其转换成连续值；若不存在“序”关系，则有k个属性值，就转换为k维向量。比如，如果属性是有序的话，如“大 中 小”，可按序量化为(1,0.5,0)；若属性无序，如瓜的种类有西瓜、黄瓜、冬瓜，就可以用三维向量表示（1，0，0），（0，1，0），（0，0，1）。如果对于无序的属性按有序属性的方式量化，则会不恰当的引入序关系，后面如果有涉及距离的计算，有可能会造成误导。这里实际上对应的是编程实现时的数据预处理部分。

    均方误差即函数值与平均数的方差，它是回归任务最常用的度量，它采用的是欧几里得(欧式)距离。基于均方误差来进行模型求解的方法，成为“最小二乘法”。在