机器学习笔记 线性模型

本文仅为个人学习笔记，知识来源：《机器学习》（周志华著）、《机器学习-吴恩达》视频（https://www.bilibili.com/video/av9912938/?p=1）

预备知识

矩阵求导（于线性回归矩阵表示时用到）： 

https://blog.csdn.net/u010976453/article/details/54381248 

https://zhuanlan.zhihu.com/p/24709748

https://zhuanlan.zhihu.com/p/24863977

https://blog.csdn.net/acdreamers/article/details/44662633 （推断过程）

https://www.jianshu.com/p/edaf949bcaeb（更详细的推断过程）

正文

线性模型旨在通过对已有数据进行拟合，从而对未知数据行进预测

对于有i个属性的数据，若仅考虑线性关系的情况，其函数可表达为：

转换为向量形式即为：

其中，为函数参数，为输入。

对于连续属性值的的场景，可直接构建线性模型；而对于离散的属性，若其属性值具有“顺序”的关系时，可将其转换为连续属性，如“高”、“中”、“低”三种属性可转换为{1.0，0.5，0.0}；若不存在顺序关系时则可将其转换为不同维度，例如属性"瓜类"的取值"西瓜”、"南瓜"、"黄瓜"可转化为 (0,0,1) (0,1,0) (1,0,0);

机器学习的目的，既是求得函数，使得

求得既是求得和，而机器学习则是通过衡量与的差异来判断所求得的公式是否合适，其差异的衡量通常使用与的均方误差，使得均方误差最小也就找到了合适的公式。

使方差最小找到对应和的过程称为线性回归模型的最小二乘"参数估计" (p町ameter estimation). 我们可将 公式分到对和求导，得到