各种回归全解：传统回归、逻辑回归、加权回归/核回归、岭回归、广义线性模型/指数族

一。前言：

1、回归分析有两类用途：1、拟合预测。2、分类

2、一些标记：

x为输入的特征向量组，每个特征向量为n维（表示有n个特征）

y为特征向量对应的类别

对于训练样本来说：

表示第i个样本（x，y），i=1……m（表示一共m个训练样本）

表示第i个特征向量的第1、2个特征值

为‘回归拟合系数’，所以对应x的维度，为n维

二。传统的线性回归

（只能做拟合预测，因为最终是使得误差最小时得到一条拟合直线，只能预测点的y值，y值连续，所以不涉及分类）

1、目标：让‘整体’误差最小

所以这是一个‘最优化’问题

2、最优化前提：

（1）认为误差服从高斯分布

偶然误差也叫‘随机误差’

（2）实际上这个误差不一定是高斯分布，如果想让这个误差是高斯分布前提是：特征样本x是高斯分布

3、最优化过程：

（1）通过高斯分布求概率

注意：这里面均值取0的意义是：就像核密度估计时采用高斯窗也没有均值

在我们对某一事物的概率分布的情况下。如果某一个数在观察中出现了，我们可以认为这个数的概率密度很比大，和这个数比较 近的数的概率密度也会比较大，而那些离这个数远的数的概率密度会比较小。

但是方差一定有，代表了带宽

（2）使用最大似然

参见‘机器学习里的数学应用/参数估计’

得到似然函数L

注意，之所以是求l（theta）最大，是因为，求误差最小，误差在高斯的x位置，也即x为0最好，高斯x为0时函数取最大，所以是求l(theta)最大

（3）求均方和误差最小

对向量 求偏导

***********************************************************************************

注意：

*********************************************