线性回归

给定由d个属性描述的示例x=（x1;x2;…xd）,其中x_i是x在第i个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即

一般用向量形式写成

线性回归试图学得：

如何确定w和b是的均方差最小呢？
均方差是回归任务中最常用的性能度量，它对应了常用的欧式距离：

更一般的，对于数据分布D和概率密度函数p(.)，均方误差可描述为：

所以在线性回归中我们可以让均方误差最小化，具体表示为：

基于均方误差最小化来进行模型求解的方法称为“最小二乘法”，在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。
在线性回归中E（w,b）是关于w和b的凸函数，怎么判断一个函数是不是凸函数呢？我们有两种方法：

1. 对于区间[a,b]上定义函数f，若它对区间中任意两点x1,x2均有：
   
   则称f为区间[a,b]上的凸函数。
2. 对实数集上的函数，可通过二阶导数来判别：若二阶导数在区间上非负，则称为凸函数；若二阶导数在区间上恒大于0，则称为严格凸函数。
   我们怎么才能使均方误差最小呢？其实我们只要找到w和b最小值就可以是整个式子变得最小。那么我们怎么找到w和b的最小值呢？下面就是找w和b最小值的过程。
   我们可将E(w,b)分别对w和b求导，得到：
   
   
   然后令上面两个式子等于零得到w和b最优解的闭式解：
   
   
   
   线性判别分析（LDA）是一种经典的线性学习方法。LDA的思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同样例的投影点尽可能接近，异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，在根据投影点的位置来确定新样本的类别。
   
   怎么样才能使同类样例的投影点尽可能接近？我们可以让同类样例投影点的协方差尽可能小，即
   尽可能的小
   而欲使异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大，即