线性回归和逻辑回归（LR）

线性回归（Linear Regression）

给定数据集 { ( x 1 , y 1 ) , ⋯   , ( x N , y N ) } \{(\boldsymbol x_1,y_1),\cdots,(\boldsymbol x_N,y_N)\} {(x1​,y1​),⋯,(xN​,yN​)}，$\mathbf{x}\in {\mathbb{R}}^n$，求$\mathbf{w}=(w_1,w_2,\cdots ,w_n)$使得以下回归模型成立：
$$y\approx f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b$$
$y$为真实值, $f(\mathbf{x})$为预测值.

模型的矩阵形式
$$X=\left[\begin{array}{cccc}{x}_{11}& \cdots & x_{1n}& 1\\ x_{21}& \cdots & x_{2n}& 1\\ ⋮& \ddots & ⋮& ⋮\\ x_{N1}& \cdots & x_{Nn}& 1\end{array}\right],\mathbf{w}=\left[\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ b\end{array}\right]$$

基于最小二乘思想（方差最小）求解：
$${\mathbf{w}}^{\ast }=\arg \min (\mathbf{y}-X\mathbf{w}{)}^T(\mathbf{y}-X\mathbf{w})$$

令$E=(\mathbf{y}-X\mathbf{w}{)}^T(\mathbf{y}-X\mathbf{w})$：
$$\frac{\partial E}{\partial \mathbf{w}}=2X^T(X\mathbf{w}-\mathbf{y})$$

极值点偏导为$0$
$${\mathbf{w}}^{\ast }=(X^{T}X{)}^{-1}{X}^T\mathbf{y}$$

当$X^{T}X$为非满秩矩阵（列数大于行数，即特征数大于样例数），需引入正则项 (向量求导).

对于任意类型的映射$\mathbf{x}\to y$，可表示为：
$$y=g^{-1}({\mathbf{w}}^T\mathbf{x}+b)$$

式中$g(\cdot )$单调可微，上式等价于$g(y)={\mathbf{w}}^T\mathbf{x}+b$.

逻辑回归（Logistic Regression）

二分类任务回归模型输出 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1}，而线性回归模型输出为连续值，应选取合适的映射函数将模型输出映射0/1值.

令$z={\mathbf{w}}^T\mathbf{x}+b$, 则理想情况$g^{-1}(z)$应具备单位阶跃性质：
$$g^{-1}(z)=\{\begin{array}{ll}0,& \text{z<0}\\ 0.5,& \text{z=0}\\ 1,& \text{z>0}\end{array}$$

对于二分类任务, 令$y$表示样例$\mathbf{x}$预测为正例概率, 则将模型定义为
$$\ln \frac{y}{1-y}={\mathbf{w}}^T\mathbf{x}+b⟹y=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}$$

$y$称为对数几率$\mathsf{s}\mathsf{i}\mathsf{g}\mathsf{m}\mathsf{o}\mathsf{d}$函数, 输出等价于类后验概率估计$p(y=1|\mathbf{x})$.

对数几率函数可近似替代单位阶跃函数, 且满足单调可微, 如下：

图1. 单位阶跃函数与对数几率函数

假设模仿线性回归求解模型参数$\mathbf{w},b)$的方法，即将误差平方和作为代价函数
$$J(\mathbf{w},b)=\sum _{i=1}^N(f_i-y_i{)}^2$$

函数为非凸函数，存在较多个局部极小值，不利于求解.

$\mathsf{s}\mathsf{i}\mathsf{g}\mathsf{m}\mathsf{o}\mathsf{d}$函数输出为类1后验概率估计，为了区分模型预测值$\hat{y}$与样本真实值$y$，取
$$\varphi (z)=\varphi ({\mathbf{w}}^T\mathbf{x}+b)=p(y=1|\mathbf{x};\mathbf{w},b)=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}$$
由于 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1}服从0-1分布，令$z={\mathbf{w}}^T\mathbf{x}+b$, 则概率函数为
$$p(y|\mathbf{x};\mathbf{w},b)=\varphi (z{)}^y(1-\varphi (z){)}^{1-y}$$

通过极大似然估计求解模型参数
$$L(\mathbf{w},b)=\prod _{i=1}^{N}p(y_i|{\mathbf{x}}_i;\mathbf{w},b)=\prod _{i=1}^N\varphi (z_i{)}^{y_i}(1-\varphi (z_i){)}^{1-y_i}$$

取对数得
$$\ln L(\mathbf{w},b)=\sum _{i=1}^N[y_i\ln \varphi (z_i)+(1-y_i)\ln (1-\varphi (z_i))]$$

极大化对数似然函数$\ln L$，等价于极小化$-\ln L$
$$J(\mathbf{w},b)=-\ln L(\mathbf{w},b)=-\sum _{i=1}^N[y_i\ln \varphi (z_i)+(1-y_i)\ln (1-\varphi (z_i))]$$

令$\hat{\mathbf{w}}=(\mathbf{w},b)$, $\hat{\mathbf{x}}=(\mathbf{x},1)$, 则${\hat{\mathbf{w}}}^T\hat{\mathbf{x}}={\mathbf{w}}^T\mathbf{x}+b$. 由$\varphi (z)=1/(1+e^{-z})$, 可推得${\varphi }^{\prime }(z)=\varphi (z)(1-\varphi (z))$, 故
$$\begin{array}{rl}\frac{\partial J}{\partial \hat{\mathbf{w}}}& =-\sum _{i=1}^N[y_i\frac{1}{\varphi (z_i)}-(1-y_i)\frac{1}{1-\varphi (z_i)}]\frac{\partial \varphi (z_i)}{\partial \hat{\mathbf{w}}}\\ & =-\sum _{i=1}^N[y_i\frac{1}{\varphi (z_i)}-(1-y_i)\frac{1}{1-\varphi (z_i)}]\varphi (z_i)(1-\varphi (z_i))\frac{\partial z_i}{\partial \hat{\mathbf{w}}}\\ & =-\sum _{i=1}^N(y_i-\varphi (z_i)){\hat{\mathbf{x}}}_{\mathbf{i}}\end{array}$$

理解代价函数

由于 y ∈ { 0 , 1 } y \in\{0, 1\} y∈{0,1}，故代价函数的等价形式为
$$J(\mathbf{w},b)=\{\begin{array}{ll}-\ln \varphi (z),& \text{y=1}\\ -\ln (1-\varphi (z)),& \text{y=0}\end{array}$$
若样本真实值为1，则估计值$\varphi (z)$越接近于1，则代价越小；
若样本真实值为0，则估计值$\varphi (z)$越接近于0，则代价越小；

损失函数与交叉熵
对于真实分布$P(X)$和预测分布$Q(X)$，其交叉熵定义为
$$H(P,Q)=-\sum _{i}P({\mathbf{x}}_i)\ln (Q({\mathbf{x}}_i))$$

当前仅当$Q(X)$与$P(X)$同分布时, 交叉熵取得极小值. 由于 y ∈ { 0 , 1 } y \in\{0, 1\} y∈{0,1}, $\varphi (z)\in [0,1]$, 可知逻辑回归的极大似然参数估计得损失函数与交叉熵等价！

模型参数更新
使用最速梯度下降法求解模型参数，迭代更新公式为
$${\hat{\mathbf{w}}}_{\mathbf{i}+1}={\hat{\mathbf{w}}}_{\mathbf{i}}+\Delta {\hat{\mathbf{w}}}_{\mathbf{i}},\Delta {\hat{\mathbf{w}}}_{\mathbf{i}}=-\eta \frac{\partial J(\hat{\mathbf{w}})}{\partial {\hat{\mathbf{w}}}_{\mathbf{i}}}$$

式中$\eta$为学习速率，因此
$${\hat{\mathbf{w}}}_{\mathbf{i}+1}={\hat{\mathbf{w}}}_{\mathbf{i}}+\eta \sum _{i=1}^n(y_i-\varphi (z_i)){\hat{\mathbf{x}}}_{\mathbf{i}}$$

转为矩阵形式
$${\hat{\mathbf{w}}}_{\mathbf{i}+1}={\hat{\mathbf{w}}}_{\mathbf{i}}+\eta \sum _{i=1}^n{e}_i\cdot {\hat{\mathbf{x}}}_{\mathbf{i}}={\hat{\mathbf{w}}}_{\mathbf{i}}+\eta {\hat{X}}^{T}E$$
式中$e_i=y_i-\varphi (z_i)$表示实际与预测之间的差值，$E=(e_1,\cdots ,e_n{)}^T$，${\hat{X}}^T=({\hat{\mathbf{x}}}_1,\cdots ,{\hat{\mathbf{x}}}_{\mathbf{n}})$.

Python实现

# !/usr/bin/python
import numpy as np

import matplotlib.pyplot as plt


def load_data_sets():
    """
    载入数据集

    样本数为n，特征数为m
    X:n*m(n行m列), y:1*m(1行m列)
    """
    X, y = [], []
    with open('testSet.txt', encoding='utf8') as f:
        for line in f:
            line = line.strip().split()
            if len(line):
                X.append(line[:-1])
                y.append(line[-1])
    return np.array(X, dtype=np.float), np.array(y, dtype=np.float)


def plt_data_sets(X, y, w):
    """
    数据集散点图

    X: 输入级, n*2
    y: 标签，1*n
    w：模型参数[b, w1, w2]
    """
    true = y == 1
    x1, x2 = X[:, 0], X[:, 1]
    plt.scatter(x1[true], x2[true], marker='+', c='b')
    plt.scatter(x1[~true], x2[~true], marker='o', c='r')

    # 添加决策边界, w^T * x + b = 0
    # 二维特征对应w1*x1 + w2*x2 + b = 0, 其中x2为纵轴
    # 即 y = -(w1*x1 + b) / w2
    x1 = np.arange(x1.min(), x1.max(), 0.1)
    x2 = -(w[0] + w[1] * x1) / w[2]
    plt.plot(x1, x2)
    plt.show()


class LogisticRegression:
    """逻辑回归"""

    def __init__(self, max_iter=300, tol=1e-3, alpha=0.001):
        """
        初始化构造函数

        :param max_iter: 最大迭代次数
        :param tol: 精度
        :param a: 学习速度
        """
        self.max_iter = max_iter
        self.tol = tol
        self.alpha = alpha

        self.w = None
        self.b = None

    def train(self, X, y):
        """
        训练模型

        :param X: 输入集，n*m(n行m列)
        :param y: 标签集，1*m(1行m列)
        :return: 训练好的模型
        """
        n, m = np.shape(X)
        # X = (X, 1), w=(w;b)
        # w^T*x+b => w^T*X
        X = np.mat(np.concatenate((X, np.ones((n, 1))), axis=1))
        y = np.mat(y).T
        w = np.ones((m + 1, 1))

        alpha = self.alpha
        tol = self.tol
        records = []

        for i in range(self.max_iter):
            # 实际值与预测值之差
            error = y - 1.0 / (1 + np.exp(-X * w))
            # 误差变化记录
            records.append((error.T * error)[0, 0])
            if records[-1] <= tol:
                break
            # 负梯度方向更新参数
            w += alpha * X.T * error

            # 动态更新误差曲线
            """
            plt.title('Error Curve')
            plt.xlabel('iterations')
            plt.ylabel('error')
            plt.plot(range(len(records)), records, 'b')
            plt.pause(0.01)
            """

        self.w = w[:-1]
        self.b = w[-1]

    def prob(self, X):
        """计算类1概率"""
        if self.w is None or self.b is None:
            raise Exception('Please train the model.')
        # n*1的矩阵
        results = 1.0 / (1 + np.exp(-np.mat(X) * self.w - self.b))
        # n*1矩阵转为n*1的数组
        return np.array([res[0] for res in np.array(results)])

    def predict(self, X):
        """预测输出类别"""
        prob = self.prob(X)
        # 类1概率小于0.5则为0，其余为1
        return np.where(prob < 0.5, 0, 1)

    def score(self, X, y):
        """
        预测输入集正确率

        :param X:
        :param y:
        :return:
        """
        predict = self.predict(X)
        try:
            error_num = np.where(predict != y)[0][0]
        except IndexError:
            error_num = 0
        return 1-  1. * error_num / len(y)


if __name__ == '__main__':
    # 二分类测试
    X, y = load_data_sets()

    # 分割数据集
    num = int(len(X) * 0.7)
    LR = LogisticRegression()
    LR.train(X[:num], y[:num])

    # 预测输出
    predict = LR.predict(X[num:])

    # 计算得分
    score = LR.score(X[num:], y[num:])
    print(score)

    # 绘制分割平面
    plt_data_sets(X, y, (LR.b, LR.w[0], LR.w[1]))

模型训练效果如下

图2. 模型误差随迭代次数变化曲线（左）和逻辑回归得到的决策边界图（右）

数据集下载链接：https://pan.baidu.com/s/1Xd-DXpw8xvm9mVWuQ0CU8Q