《机器学习实战》学习笔记第五章-逻辑回归

目录

逻辑回归算法

sigmoid函数

梯度上升法

基础代码

回归梯度上升优化算法

画出决策线

随机梯度上升算法

从疝气病症预测病马死亡率

准备数据

测试算法

---

逻辑回归算法

用直线拟合的过程称为回归。根据现有数据对分类边界线建立回归公式，以此进行分类的过程即逻辑回归过程。

优点：计算代价不高，易于理解和实现。

缺点：容易欠拟合，分类精度可能不高。

适用数据类型：数值型和标称型

一般过程：

1.收集数据

2.准备数据：需要距离计算，因此要求数据类型为数值型，结构化数据格式则最佳。

3.分析数据：任意方法

4.训练算法：大部分时间用于训练，训练的目的是为了找到最佳的分类回归系数

5.测试算法：一旦训练完成，分类将会很快

6.使用算法：首先，需要将数据转换为对应的结构化数值，然后基于训练好的回归系数对这些数值进行简单的回归计算，判定它们属于哪个类别，最后做其他分析工作

sigmoid函数

逻辑回归首先将数据性质转换为0-1的函数，一般用到的是sigmoid函数：

 Sigmoid函数的图像：

 Sigmoid函数连续，光滑，严格单调，是一个非常良好的阈值函数，因此是二分类的概率常用的函数。当x趋近负无穷时，y趋近于0；趋近于正无穷时，y趋近于1；x=0时，y=0.5。一般来说，在x=6,-6前后，y值不再发生变化。

梯度上升法

梯度上升法基于的思想是:要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻。如果梯度记为V，则函数f (x,y)的梯度由下式表示:
 

这个梯度意味着要沿x的方向移动 沿y的方向移动 。其中，函数f(x,y)必须要在待计算的点上有定义并且可微。一个具体的函数例子见图5-2。

图5-2中的梯度上升算法沿梯度方向移动了一步。可以看到，梯度算子总是指向函数值增长最快的方向。这里所说的是移动方向，而未提到移