Python Logistic 回归分类

Logistic回归可以认为是线性回归的延伸，其作用是对二分类样本进行训练，从而对达到预测新样本分类的目的。
假设有一组已知分类的MxN维样本X，M为样本数，N为特征维度，其相应的已知分类标签为Mx1维矩阵Y。那么Logistic回归的实现思路如下：
（1）用一组权重值W（Nx1）对X的特征进行线性变换，得到变换后的样本X’（Mx1），其目标是使属于不同分类的样本X’存在一个明显的一维边界。
（2）然后再对样本X’进一步做函数变换，从而使处于一维边界两测的值变换到相应的范围之内。
（3）训练过程就是通过改变W尽可能使得到的值位于一维边界两侧，并且与已知分类相符。
（4）对于Logistic回归，就是将原样本的边界变换到x=0这个边界。
下面是Logistic回归的典型代码：

# -*- coding: utf-8 -*-
"""
Created on Wed Nov 09 15:21:48 2016
Logistic回归分类
"""
import numpy  as np


class LogisticRegressionClassifier ( ):
    
     def  __init__ ( self ):
         self._alpha  =  None
    

     #定义一个sigmoid函数
     def _sigmoid ( self , fx ):
         return  1.0/ ( 1 + np. exp (-fx ) )

     #alpha为步长（学习率）；maxCycles最大迭代次数
     def _gradDescent ( self , featData , labelData , alpha , maxCycles ):
        dataMat  = np. mat (featData )                       #size: m*n
        labelMat  = np. mat (labelData ). transpose ( )         #size: m*1
        m , n  = np. shape (dataMat )
        weigh  = np. ones ( (n ,  1 ) ) 
         for i  in  range (maxCycles ):
            hx  =  self._sigmoid (dataMat * weigh )
            error  = labelMat - hx        #size:m*1
            weigh  = weigh + alpha * dataMat. transpose ( ) * error #根据误差修改回归系数
         return weigh

     #使用梯度下降方法训练模型，如果使用其它的寻参方法，此处可以做相应修改
     def fit ( self , train_x , train_y , alpha = 0.01 , maxCycles = 100 ):
         return  self._gradDescent (train_x , train_y , alpha , maxCycles )

     #使用学习得到的参数进行分类
     def predict ( self , test_X , test_y , weigh ):
        dataMat  = np. mat (test_X )
        labelMat  = np. mat (test_y ). transpose ( )   #使用transpose()转置
        hx  =  self._sigmoid (dataMat*weigh )   #size:m*1
        m  =  len (hx )
        error  =  0.0
         for i  in  range (m ):
             if  int (hx [i ] )  >  0.5:
                 print  str (i+ 1 )+ '-th sample ' ,  int (labelMat [i ] ) ,  'is classfied as: 1' 
                 if  int (labelMat [i ] )  !=  1:
                    error + =  1.0
                     print  "classify error."
             else:
                 print  str (i+ 1 )+ '-th sample ' ,  int (labelMat [i ] ) ,  'is classfied as: 0' 
                 if  int (labelMat [i ] )  !=  0:
                    error + =  1.0
                     print  "classify error."
        error_rate  = error/m
         print  "error rate is:" ,  "%.4f" %error_rate
         return error_rate