机器学习笔记之Logistic回归算法

Logistic回归算法：

优点：计算代价不高，易于理解和实现。

缺点：容易欠拟合，分类精度可能不高。

适用数据类型：数值型和标称型。

算法原理：logistic回归是一种广义线性回归（generalized linear model），因此与多重线性回归分析有很多相同之处。它们的模型形式基本上相同，都具有 w'x+b，其中w和b是待求参数，其区别在于他们的因变量不同，多重线性回归直接将w'x+b作为因变量，即y =w'x+b，而logistic回归则通过函数L将w'x+b对应一个隐状态p，p =L(w'x+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数，就是logistic回归，如果L是多项式函数就是多项式回归。

ps:因为Logistic的几何形状很像一个“S”型，所以又叫 sigmoid曲线（S型曲线）

算法流程：

收集数据：采用任意方法收集数据。

准备数据：由于需要进行距离计算，因此要求数据类型为数值型。

分析数据：采用任意方法对数据进行分析。