逻辑回归模型（二）——sklearn实现逻辑回归（logistic regression）

【Modeling class probabilities via logistic regression】  

类概率的逻辑回归建模

， 

事件发生的几率（odds）定义为 事件发生概率与事件未发生概率的比值。logit函数代表事件的几率，其中p代表我们所预测事件发生的概率。

sigmoid 函数（S形函数）   ,   

如下图sigmoid函数输入为全体实数，将输入转化为（0,1）之间的数

#sigmoid函数
import matplotlib.pyplot as plt
import numpy as np

def sigmoid(z):
    return 1.0 / (1.0 + np.exp(-z))
z = np.arange(-7, 7, 0.1)
phi_z = sigmoid(z)
plt.plot(z, phi_z)
plt.axvline(0.0,color = 'k')
plt.ylim(-0.1, 1.1)
plt.xlabel('z')
plt.ylabel('$\phi(z)$')
plt.yticks([0.0, 0.5, 1.0])
ax = plt.gca() #Get Current Axes
ax.yaxis.grid(True)

【Learning the weights of the logistic cost function】

逻辑代价函数的权值

方差总和为    

似然函数(Likelyhood function)：

对数似然函数(log Likelyhood )：

对数似然函数进行最大化更简单~

代价函数（cost  function）:

可以采用剃度下降法对代价函数进行最小化优化。

为了更好的利用代价函数，先来看一下单个y的情况

可以看到如下特殊情况:

def cost_1(z):