2019/9/12，机器学习（周志华）第三章及学习笔记

本章的内容是线性模型，先从简单的线性回归到应用于二分类的对数回归。
f(xi)=wxi+b,
为了确定线性模型中的w和b，用上一章提到的均方误差mse来求解，试图将mse最小化来得到线性模型中较好的w和b（理论上是最好的），这种方法称为最小二乘法。
最小二乘法在其他领域也有用途，例如在我之前的视差图精化的亚像素插值中也用到了最小二乘法拟合。而此处线性回归中的最小二乘法是指找到一条直线，使所有样本到直线上的欧式距离最小。在这里我给出一个课本公式的推导过程，其实很简单刚开始还有点迷茫。
这边的欧式距离也在很多算法中运用到，之前就有遇到过不同的场景算法中的欧氏距离
欧氏距离即欧几里得距离（Euclidean distance），其实很容易理解，如在二维空间中俩点欧氏距离表示为d = sqrt( (x1-x2)^2 + (y1-y2)^2

以上是考虑一个属性的情况,实际中都是多属性此时需采用矩阵来表示,同理可得到w和b,这里的w有多个值用向量进行表示w^T,此时线性模型为y=wT+b,T是指数（使用MarkDown博客编辑器可插入公式，今天没时间暂且不下吐槽下编辑器）…https://codecogs.com/latex/eqneditor.php用这个也可生成公式或者打开word吧555

对数线性回归是考虑到输出标记在指数尺度上的变化，即试图让逼近y。