机器学习算法实现(1):逻辑回归实现二分类

【系列开头】开这个系列是因为最近学习某些算法纸上谈兵太久，算法流程背的再熟，没有实现过就没法真正的理解算法的细节。这个系列要实现算法的顺序为逻辑回归、决策树(CART)、AdaBoost、GBDT。其他算法根据后续学习情况进行添加。

关于逻辑回归的原理这里不再叙述，书上都有，但要深入理解不是很容易。学习三要素：模型、策略、算法。首先逻辑回归要解决的是分类问题，他是怎么解决呢？对应于抽象的学习三要素，一句话概括：逻辑斯蒂回归模型为参数化的逻辑斯蒂分布（其对数几率模型是线性函数）来表示的条件概率。通过梯度下降法极大化似然函数，求得参数w，进而求得模型。

下面通过一个iris数据集的小例子，来实现一个逻辑回归的二分类模型。

1. 三方库导入和数据获取

from sklearn.datasets import load_iris
import numpy as np

#加载数据集
iris = load_iris()
X_train = iris.data[:100] #前100条数据，分成两个类别。
y_train = iris.target[:100]

2. 几个工具函数的构建
   这里只需要一个sigmoid函数。

def sigmoid_activation(result):
    final_result = 1/(1+np.exp(-result))
    return final_result

3. 模型学习

模型是一个线性函数，我们需要学习的参数是w和b。采用极大似然估计(极小化似然函数)的方法，学习参数w和b的值。

def model_optimize(w, b, X, y)