[机器学习入门第三章线性模型]（未完成）

3.1基本形式

线性模型通过学得一个通过属性的线性组合来进行预测
预测函数：
$$f(x)=w_1{x}_1+w_2{x}_2+\dots \dots w_d{x}_d+b(3.1)$$
写成向量形式
$$f(x)=w^{T}x+b(3.2)$$
其中$w=(w_1;w_2;\dots \dots ;w_d)$ $w$和b学得之后，模型就得以确定。
$w$直观表达了各属性在预测上的重要程度，因此线性模型具有很好的可解释性。

3.2线性回归

如何确定$w$和b ：关键在于衡量$f(x)$和y之间的差别，均方误差是回归问题最常用的性能度量
$$\begin{gathered} (w^{\ast },b^{\ast })=\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(f(x_i)-y_i{)}^2 \\ =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(w{x}_i+b-y_i{)}^2 \end{gathered}$$
基于均方误差最小化的求解模型方法称为最小二乘法，找到一条直线，使所有样本到直线上的欧式距离最小。
求解$w,b$的过程称为参数估计，$E_{(w,b)}={\sum }_{i=1}^m(w{x}_i+b-y_i)$的最小化的过程，将$E_{(w,b)}$分别对w,b求导。
$$\begin{gathered} \frac{\partial E_{(}w,b)}{\partial w}=2(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i),(3.6) \\ \frac{\partial E}{\partial b}=2(mb-\sum _{i=1}^m(y_i-w{x}_i))(3.7) \end{gathered}$$

3.4线性判别分析

LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大".

LDA(Linear discriminant analysis)是一种线性学习方法m，思想非常朴素：给定训练集，设法将样例投影到一条直线上，同类的投影点尽可能接近，异类的投影点尽可能远离。对于测试集，同样投影到直线上，根据距离来判断测试样例的类别。

令$X_i,{\mu }_i{\sum }_i$ 分别表示$i\in (0,1)$类示例的集合、均值向量、协方差矩阵，若将数据投影到直线$w$上，则两类样本的中心在直线上的投影分别为$w^T{\mu }_0和w^T{\mu }_1$;若将所有样本点都投影到直线上，则两类样本的协方差分别为$w^T{\sum }_{0}w和w^T{\sum }_{1}w$，直线是一维空间，上述均为实数.

3.5多分类学习