python 逻辑回归准确率是1_Python|机器学习-逻辑回归模型

逻辑回归模型就是需要将预测结果划分为两种状态，一般为0和1。

所以我们引入一个可以将所有结果表示在0-1闭区间的函数：

y=1/(1+e^(-z))

z=θ*x

用J表示损失函数，计算交叉熵为损失函数的值。交叉熵函数可以衡量预测结果与实际结果的相似性。

离散变量的交叉熵计算：

，带入0-1的模型则如下

J=y*log(1/y_hat)+(1-y)*log(1/(1-y_hat))，化简如下：

J=-y*log(y_hat)-(1-y)*log(1-y_hat)

def cross_entropy(y, y_hat):    n_samples = y.shape[0]    return sum(-y*np.log(y_hat)-(1-y)*np.log(1-y_hat))/n_samples

优化模型如下：

θ=θ-α*(∂J/∂θ)

这里简单求一下偏导数就可以了，y是常数。

∂J/∂θ=(y_hat-y)*x

def optimize(theta,X,