机器学习实战笔记7——逻辑回归

任务安排

1、机器学习导论       8、核方法
2、KNN及其实现       9、稀疏表示
3、K-means聚类      10、高斯混合模型
4、主成分分析          11、嵌入学习
5、线性判别分析      12、强化学习
6、贝叶斯方法          13、PageRank
7、逻辑回归              14、深度学习

逻辑回归（LR）

Ⅰ 最大似然估计

      后面的线性回归及逻辑回归均会用到最大似然估计，这里提前讲解，方便后续使用

似然函数：

                      设 $X$ 为离散随机变量，$\theta =({\theta }_1,...,{\theta }_k)$ 为待估计的多维参数向量，若随机变量 $x_1,...,x_n$ 相互独立且与 $X$ 同分布，
记$P(X_i=x_i)=p(x_i;\theta )$，则$$P(X_1=x_1,...,X_n=x_n)=\prod _{i=1}^{n}P(X_i=x_i)=\prod _{i=1}^{n}p(x_i;\theta )$$        称 $L(\theta )={\prod }_{i=1}^{n}p(x_i;\theta )$ 为似然函数（Likelihood function）

最大似然估计算法：

             ①写出似然函数：$$L({\theta }_1,...,{\theta }_k)=L(x_1,...,x_n;{\theta }_1,...,{\theta }_k)=\prod _{i=1}^{n}f(x_i;{\theta }_1,...,{\theta }_k)$$        $n$ 为样本数量，似然函数表示 $n$ 个样本（事件）同时发生的概率
             ②对似然函数取对数：$$\ln L({\theta }_1,...,{\theta }_k)=\sum _{i=1}^n\ln f(x_i;{\theta }_1,...,{\theta }_k)$$             ③将对数似然函数对各参数求偏导并令其为0，得到对数似然方程组
             ④求解方程组得到各个参数

Ⅱ 线性回归（Linear Regression）

模型介绍

      回归分析目的: 设法找出变量间的关联/依存（数量）关系，用函数关系式表达
      ①一元线性回归： $y_i=a+b{x}_i+e_i$
      其中：
               $a$ 是截距
               $b$ 是回归系数（回归直线的斜率）
               $e_i$ 是残差/损失（服从高斯分布）

      ②多元线性回归：$y_i=b_0+b_1{x}_{1i}+\dots +b_n{x}_{ni}+e_i$
      其中：
               $b_0$ 是常数项，是各变量都等于0时，因变量的估计值，也称本底值
               $b_i$ 是偏回归系数，其统计学意义是在其他所有自变量不变的情况下，某一自变量每变化一个单位，因变量平均变化的单位数

★目标函数

      ①目标函数求解
      线性回归假设特征和结果满足线性关系，得到预测模型（几何意义是一个拟合平面） h θ ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 + … … = ∑ i = 1 n θ i x i = h θ ( x )