机器学习-非线性逻辑斯特回归及其手写实现梯度下降

一. 非线性逻辑斯特回归简介
逻辑斯特回归在上一篇博客中已经简单地介绍了一下（链接）。非线性的实际用处要广泛，接下来看逻辑斯特回归在非线性中的应用。

二. Python 代码手写实现
1. 解析数据集，分割特征和label

这里我们自己构建了一个非线性数据，总共两类数据，每类数据200个样本。每类数据中加了一些随机的噪声，接下来看数据分布图如下所示：

2. 非线性特征处理

对特征的处理，我们这里引入了sklearn中的PolynomialFeatures包，用来构建多项式特征。由上面test例子可以看出，当degree=3时，相当于生成了b，x1，x2，x1x1，x1x2，x2x2，x1x1x1，x1x1x2，x1x2x2，x2x2x2。将特征进行多项式映射到另一个空间。
3. 定义损失函数和梯度下降函数

因为特征中自带偏差量，因此这里不需要在设置偏差。
4. 根据特征数量初始化构建权重W和bias-B，进而用梯度下降函数进行训练

可以从损失值画出来的图像看到，损失值有明显的下降，收敛性较好。
5. 可视化效果

作为基础的机器学习知识，必须要掌握具体的实现过程。在面试和笔试中都会有所涉及。
代码传送门 >>>>>>