西瓜书学习笔记第三章（1）

第三章为线性模型，就是以一个线性可表示的模型去进行分类，因为数据不仅仅只在二维三维空间中

前三节为基本形式、线性回归和对数几率回归

线性回归即假设模型为纯粹的线性模型

                ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

既然可以得到线性模型，那么就可以使用最小二乘法得到最接近目标向量的参数，具体可以参考MIT线性代数中关于最小二乘法的部分。

                                                解为

当然，最小二乘法的作用仅仅在于矩阵为正定矩阵或满秩的情况，不然没有逆

如果非正定矩阵或满秩，则使用通用解法

对数几率回归来源于希望找到一种模型使模型的输出具有很明显的1或者0，由此，对数模型被找了出来。为了确定模型的参数，使用极大似然法加凸优化来确定参数。因为在数据集确定的情况下，所期望的便是输入的输出尽可能的满足样本的期望，所以直接将各个样本的输入输出带入似然函数求最优化即可。