python实现logistic的案例_机器学习实战笔记(Python实现)-04-Logistic回归

---------------------------------------------------------------------------------------

本系列文章为《机器学习实战》学习笔记，内容整理自书本，网络以及自己的理解，如有错误欢迎指正。

---------------------------------------------------------------------------------------

1、算法概述

利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“ 回归” 一词源于最佳拟合，表示要找到最佳拟合参数集。训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。

在做分类时，我们总是希望分类函数能够接受所有输入然后预测出类别。以两类为例，分类函数输出0或1，我们知道单位阶跃函数满足这种性质。然而，在跳跃点上从0瞬间到1，这个过程有时很难处理，幸好，Sigmoid函数有类似的性质，在数学上更易处理。Sigmoid函数公式如下：

像阶跃函数的Sigmoid的效果图是这样的：

为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把所有的结果值相加，将这个总和代入Sigmoid函数中，进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分入1类 ，小于0.5即被归入0类。所以，Logistic回归也可以被看成是一种概率估计。

那么问题来了，这个回归系数要如何确定？且往下看。

2、基于最优化方法的最佳回归系数确定

设输入数据x有n个特征，即n维，由以上知Sigmoid函数的输入z可表示为：

采用向量的写法，上式可以写成