机器学习实验三：logistic回归

一、模型简介

逻辑斯谛回归（logistic regression）是统计学习中的经典分类方法，属于对数线性模型，所以也被称为对数几率回归。这里要注意，虽然带有回归的字眼，但是该模型是一种分类算法，逻辑斯谛回归是一种线性分类器，针对的是线性可分问题。利用logistic回归进行分类的主要思想是：主要思想就是用最大似然概率方法构建出方程，为最大化方程，利用牛顿梯度上升求解方程参数。logistic训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化方法。

Logistic回归优点：
-无需事先假设数据分布
-可得到“类别”的近似概率预测（概率值还可用于后续应用）
-可直接应用现有数值优化算法（如牛顿法）求取最优解，具有快速、高效的特点

二、使用logistic回归的目的：寻找分类边界线

以上两幅图分别对应着，当分类样本具有两个特征值 x1,x2 时，样本可进行线性可分，以及非线性可分的情况。而分类边界，便是图中所示的绿色直线与绿色曲线。（本文中只针对线性可分且特征数为 n 的情况进行介绍）
而使用逻辑回归进行分类，就是要找到这样的分类边界，使其能够尽可能地对样本进行正确分类，也就是能够尽可能地将两种样本分隔开来。于是我们可以大胆猜测，可以构造这样一个函数（图一中特征数为2，分类边界为直线，当特征数为 n 时分类边界为“超平面”），来对样本集进行分隔：

其中 i=1,2,…m ，表示第 i 个样本, n 表示特征数,当 z(x⁽ⁱ⁾)>0 时，对应着样本点位于分界线上方，可将其分为"1"类；当 z(x⁽ⁱ⁾)<0 时 ，样本点位于分界线下方，将其分为“0”类。
我们很容易联想到前面介绍过的线性回归，与逻辑回归不同的是，线性回归模型输入一个待预测样本的特征值 x ( i ) = [ x 1 ( i ) , x 2 ( i ) , . . . , x n ( i ) ] T x^{(i)}=[ x^{(i)}_1,x^{(i)}_2,...,x^{(i)}_n ]^T x(i)=[x1(i)​,x2(i)​,...,xn(i)​]