机器学习-逻辑回归

假设数据集由以下两部分组成

其中m为样本个数，n为特征数，x0=1（人为添加）。
y代表分类标签，即为0时为一类，为1时为另一类。为了方便描述，假设此时n为2，其2维坐标图如下：

圆形代表y = 0, 三角形代表y = 1。逻辑回归的作用就是找到一根线把圆形和三角形分开，以便我们预测当新的样本输入时，该样本是三角形还是圆形，如下图。

四角形处代表为新样本，用四角星只是为了与三角形和圆形区分开。

逻辑回归

因为训练样本的y值的区间范围是[0,1],如果按线性回归的方法来假设训练样本线性拟合，其效果并不好，所以逻辑回归的损失函数如下：

当有了损失函数，便可通过使用梯度下降来使损失函数最小求得相应的参数值，而梯度下降的关键是参数值同时更新以及损失函数关于每一个参数的偏导，损失函数关于每一个参数的偏导推导如下：
先将损失函数展开

对上式求偏导得

会发现，其与线性回归中偏导结构一致，不过虽结构一致，但因h(x)的不同，运算过程也有所不同。在偏导求得以后，其梯度下降过程依旧与线性回归中的步骤一致，只是函数不同。

如有不对，请指正，欢迎大家积极讨论，有关梯度下降的代码具体实现请见下次更新。

滴滴滴
代码链接如下