线性回归、逻辑回归以及感知机的Python实现和比较分析

线性回归

线性回归是回归问题中最基础的一个部分，它通过对一系列特征进行线性关系的操作来拟合一个能够刻画数据集的超平面。如图所示的例子，对于散落在坐标系里的每一个点，它的$x$坐标可以看成是它的特征，而它的$y$坐标则是对应的label值，我们需要对这一组数据进行很好的刻画，才能使得我们在拿到一组新数据时可以准确的预测它的值。在这里，我们采用的是线性回归的方式，即$y=\theta x+b$,因此，二维里就是一条直线。

下面我们将线性回归归纳到一般的情况下，即$h_{\theta }(x)={\theta }_1{x}_1+{\theta }_2{x}_2+......+{\theta }_n{x}_n+b={\theta }^{T}x+b$,其中$\theta =[{\theta }_1,{\theta }_2,......{\theta }_n]$是回归的系数，$b$是偏差值，一般保持不变。对于样本$x^i$,它的特征为$[x_1^i,x_2^i,......,x_n^i]$,对于这样的线性回归方程，采用的代价函数是平均误差平方和，公式如下，
$$J(\theta )=\frac{1}{2m}\sum _{i=0}^m(h_{\theta }(x^i)-y^i{)}^2$$
有了如上的代价函数，下一步需要做的就是最小化此平均误差平方和，在这里采用的是梯度下降，以下是对$\theta$以及$b$的分别求偏导，
$$\frac{\partial J(\theta )}{\partial \theta }=\frac{1}{m}\sum _{i=0}^m{x}^i(h_{\theta }(x^i)-y^i)$$
$$\frac{\partial J(\theta )}{\partial b}=\frac{1}{m}$$