机器学习——线性回归及逻辑回归原理及numpy代码实现

引言

机器学习两大主要任务为回归和分类。当预测值为连续时，该任务为回归任务；当预测值为离散时，该任务为分类任务。线性回归和逻辑回归分别为回归和分类的机器学习算法，神经网络也是基于这两个算法在层数上进行加深，获得了更好的效果。

线性回归

直观地从二维上来说，线性回归做的是对现有的数据做一个拟合，当新的数据输入时做预测。如下图，我们知道一些点的x和y值，我们对这些点进行直线拟合，当新的x输入进来，我们可以通过拟合的直线预测一个y值。

我们将这个想法推广到三维的平面，以及维数更高的超平面。这时候就不仅仅是一个标量x对应一个标量y，而是一个向量$x$对应一个标量或者向量$y$。我们可以写成下面这个形式：

$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$
$h_{\theta }(x)={\sum }_{i=0}^n{\theta }_i{x}_i={\theta }^{T}x$

一旦我们将${\theta }^T$的值确定下来便确定了拟合的这个平面

怎么做

两种思路：极大似然估计和最小二乘发估计，两种方法结果相同，但解决思路却不一样。

极大似然估计

对于一条拟合得很好的直线，可能会经过较多的样本点。较少的样本点距离直线较近，很少的样本点距离直线较远。把样本和直线的距离定义为${\epsilon }^{(i)}$，则实际值$y^{(i)}$，预测值${\theta }^T{x}^{(i)}$满足下面的关系：
$y^{(i)}={\theta }^T{x}^{(i)}+{\epsilon }^{(i)}$
由于处在直线上样本点最多，随着距离${\epsilon }^{(i)}$的增大，样本点逐渐减少，所以我们可以假设${\epsilon }^{(i)}$服从均值为0，方差为${\sigma }^2$的高斯分布。
$\begin{array}{rl}p\left({ϵ}^{(i)}\right)& =\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left({ϵ}^{(i)}\right)}^2}{2{\sigma }^2}\right)\\ p\left(y^{(i)}|x^{(i)};\theta \right)& =\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{}{2{\sigma }^2}\end{array}$