逻辑回归>>>>>最大似然>>>>>最大后验概率

逻辑回归

emmmm…先来首音乐
Album Soon

线性回归

  在统计学中，线性回归（英语：linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归（multivariate linear regression），线性回归是机器学习中最简单的模型了。

  线性回归的定义这样：对于一个样本$x_i$,它的输出值是其特征值的线性组合（这个是假设前提）。那么对数据进行建模得到的模型如下:
$$f(x_i)=\sum _{m=1}^p{w}_m{x}_{im}+w_0$$
通过对抽样得到的数据集进行训练，使得目标函数和真是的函数接近（拟合方程），一般采用的是最小二乘法。（由很多的方法可以用来求解最优解的参数。。。。这是另外的问题。。。）

逻辑回归

  逻辑回归是一种非线性的回归函数，它和线性回归一样，是机器学习中最常用的算法，线性回归主要用于预测（建模预测），二逻辑回归主要用与二分类，两者都是有监督的机器学习。（其实分类也是预测的一种特殊的例子）。

  逻辑回归给出的是属于一个类的概率（0-1），通过一个非线性函数，将输入映射到[0,1]上, $p=f_{\varphi }(x)={\theta }^{T}x$，这样通过该模型就可以进行分类。一般采用的$logistic$函数是$sigmod$函数:$\varphi (z)=\frac{1}{1+e^{-z}}$。通过该函数，将输出数值映射成概率，完成$P(Y|X)$的作用。

  目标函数有了之后，如何构建损失函数来优化该模型？采用 MSE的方式，损失函数如下：
$$J(w)=\sum _i\frac{1}{2}$$