机器学习： 逻辑回归(Logistic Regression)

1. 原理

1. 概述：

   这是一个分类模型。当输入一个新样本的时候，把样本的特征值输入到f(X)函数中，再将f(X)的结果输入到sigmoid函数中，输出即为分类结果。训练过程就是通过训练集合寻找f(X)的系数，使得分类误差最小。f(X)常用线性函数，训练的算法有梯度法、牛顿法等。

2. sigmoid函数：

   logisitic分布的分布函数就是sigmoid函数。

   

3. logistic模型：

   

   其中：f(X)可以是任意函数，最简单的就是多项式线性函数f(X)=k1*x1 + k2*x2 + … + kn*xn

4. 训练算法：

   训练过程就是搜索f(X)的最优系数，使得风险函数（一般为0-1分类误差函数作为损失函数）最小。训练算法有很多种，梯度算法、牛顿算法等。

2. 实现：

1. 我的实现（训练算法为剃度算法)：

   https://github.com/autoliuweijie/MachineLearning/tree/master/regression

2. scikit-learn:

   示例：

       #Import Library
       from sklearn.linear_model import LogisticRegression
       #Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset
       # Create logistic regression object
       model = LogisticRegression()
       # Train the model using the training sets and check score
       model.fit(X, y)
       model.score(X, y)
       #Equation coefficient and Intercept
       print('Coefficient: n', model.coef_)
       print('Intercept: n', model.intercept_)
       #Predict Output
       predicted= model.predict(x_test)

参考：

[1]《统计学习方法》 李航 2012年3月第一版
[2]《机器学习实战》 Peter Harrington