logistic回归模型python_《机器学习Python实现_02_线性模型_Logistic回归》

import numpy as np

import os

os.chdir('../')

from ml_models import utils

import matplotlib.pyplot as plt

%matplotlib inline

一.简介

逻辑回归(LogisticRegression)简单来看就是在线性回归模型外面再套了一个\(Sigmoid\)函数：

\[\delta(t)=\frac{1}{1+e^{-t}}

\]

它的函数形状如下：

t=np.arange(-8,8,0.5)

d_t=1/(1+np.exp(-t))

plt.plot(t,d_t)

[]

而将\(t\)替换为线性回归模型\(w^Tx^*\)(这里\(x^*=[x^T,1]^T\))即可得到逻辑回归模型：

\[f(x)=\delta(w^Tx^*)=\frac{1}{1+e^{-(w^Tx^*)}}

\]

我们可以发现：\(Sigmoid\)函数决定了模型的输出在\((0,1)\)区间，所以逻辑回归模型可以用作区间在\((0,1)\)的回归任务，也可以用作\(\{0,1\}\)的二分类任务；同样，由于模型的输出在\((0,1)\)区间，所以逻辑回归模型的输出也可以看作这样的“概率”模型：

\[P(y=1\mid x)=f(x)\\

P(y=0\mid x)=1-f(x)

\]

所以，逻辑回归的学习目标可以通过极大似然估计求解：\(\prod_{j=1}^n f(x_j)^{y_j}(1-f(x_j))^{(1-y_j)}\)，即使得观测到的当前所有样本的所属类别概率尽可能大；通过对该函数取负对数，即可得到交叉熵损失函数：

\[L(w)=-\sum_{j=1}^n y_j log(f(x_j))+(1-y_j)log(1-f(x_j))

\]

这里\(n\)表示样本量，\(x_j\in R^m\)，\(m\)表示特征量，\(y_j\in \{0,1\}\)，接下来的与之前推导一样，通过梯度下降求解\(w\)的更新公式即可：

\[\frac{\partial L}{\partial w}=-\sum_{i=1}^n (y_i-f(x_i))x_i^*

\]

所以\(w\)的更新公式：

\[w:=w-\eta \frac{\partial L}{\partial w}

\]

二.代码实现

同LinearRegression类似，这里也将\(L1,L2\)的正则化功能加入

class LogisticRegression(object):

def __init__(self, fit_intercept=True, solver='sgd', if_standard=True, l1_ratio=None, l2_ratio=None, epochs=10,

eta=None, batch_size=16):

self.w = None

self.fit_intercept = fit_intercept

self.solver = solver

self.if_standard = if_standard

if if_standard:

self.feature_mean =