【Modeling class probabilities via logistic regression】
类概率的逻辑回归建模
,
事件发生的几率(odds)定义为 事件发生概率与事件未发生概率的比值。logit函数代表事件的几率,其中p代表我们所预测事件发生的概率。
sigmoid 函数(S形函数) ,
如下图sigmoid函数输入为全体实数,将输入转化为(0,1)之间的数
#sigmoid函数
import matplotlib.pyplot as plt
import numpy as np
def sigmoid(z):
return 1.0 / (1.0 + np.exp(-z))
z = np.arange(-7, 7, 0.1)
phi_z = sigmoid(z)
plt.plot(z, phi_z)
plt.axvline(0.0,color = 'k')
plt.ylim(-0.1, 1.1)
plt.xlabel('z')
plt.ylabel('$\phi(z)$')
plt.yticks([0.0, 0.5, 1.0])
ax = plt.gca() #Get Current Axes
ax.yaxis.grid(True)
【Learning the weights of the logistic cost function】
逻辑代价函数的权值
方差总和为
似然函数(Likelyhood function):
对数似然函数(log Likelyhood ):
对数似然函数进行最大化更简单~
代价函数(cost function):
可以采用剃度下降法对代价函数进行最小化优化。
为了更好的利用代价函数,