logistic分类

1、原理：使用sigmod函数将回归映射到分类。二分类，
2、代价函数：使用概率分布、伯努利方程设计最大 似然性为代价函数
目标函数：最小化 -似然最大
3、参数求解：梯度下降(上升？)
数学推导：sig’=h*(1-h)
4、模型训练代码：
（1）批梯度下降和随机梯度下降
（2）关于代价函数和收敛

# -*- coding: utf-8 -*-
import numpy as np
from sklearn import datasets

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

def data_initial():
    dataset =datasets.load_iris()

    X = dataset.data[0:100]
    Y = dataset.target[0:100]
    return X, Y

# 批梯度下降每次使用全部样本对参数更新
def BGD_grad_descent(dataMatIn, classLabels):
    dataMatrix = np.mat(dataMatIn)  #(m,n)
    labelMat = np.mat(classLabels).transpose()
    m, n = np.shape(dataMatrix)
    print m
    weights = np.ones((n, 1))  #初始化回归系数（n, 1)
    alpha = 0.001 #步长
    maxCycle = 500  #最大循环次数
    J= []
    Accuracy= 0.001
    for i in range(maxCycle):
        h = sigmoid(dataMatrix *