机器学习笔记（一）——线性模型

线性回归

写在前面：第一次写博客格式安排不是很合理，后面会整理的。请大家谅解[大哭]，而且内容结构会陆续上传，完成整个知识架构的建立，如果有什么意见欢迎大家不吝赐教！欢迎大家扔砖~~

• 基本思想：

  • 线性回归模型试图利用一个n元多项式来预测实值的标记，如下式，我们以向量内积的形式来表示
    $$f(x)= w^Tx + b$$
    既然是预测值，其所具备的最基本的内容就是预测函数，性能度量,其中预测函数就是我们要实际进行对输入进行处理的函数，而性能度量则是我们在得到对应的预测预测模型过程中对训练出来的模型泛化性能进行评判的指标

  • 性能度量：均方误差，因为是均方误差，所以我们希望得到预测模型可以使得在训练过程中均方误差是最小的，如下式
    

    $$(w^*,b^*) =\mathop{\arg\min}_\limits{w,b}\sum^m_{i=1}(f(x_i)-y_i)^2$$
    如此可以看到均方误差有这很好的集合意义，它对应了欧几里得距离。基于均方误差最小化来进行模型求解的方法成为“最小二乘法”。在线性回归中，最小二乘法就是试图使得所有样本点到这条直线的欧式距离最小

  • 最小二乘法参数估计：将上式分别对w和b求偏导，并令偏导等于0，即可求得其闭式解
    

    $$\frac{\partial E_{(w,b)}}{\partial w} = 2(w\sum^m_{i=1}x^2_i - \sum_{i=1}^m(y_i-b)x_i)$$
    $$\frac{\partial E_{(w,b)}}{\partial b} = 2(mb - \sum_{i=1}^m(y_i - wx_i))$$
    联立上述两式为0即可求得为
    $$w = \frac{\sum_{i=1}^my_i(x_i - \overline x)}{\sum_{i=1}^mx_i^2}$$
    $$b = \frac{1}{m}\sum_{i=1}^m(y_i-wx_i)$$
    上述式子是按照单个输入数据样例为基本进行的公式推导，如果将样本数据集以矩阵的形式来计算的话，我们可以有：

  • 矩阵形式的“多变量线性回归”模型：
    我们令$w = (w,b)$，那么原本的数据集合的格式改为$x = (x,1)$，令
    $$X = \left (\begin{array}{ccccc} x_{11} & x_{12} & ... & x_{1d} & 1\\ x_{21} & x_{22} & ... & x_{2d} & 1\\ ... & ... & ... &... & ...\\ x_{m1} & x_{m2} & ... &x_{md} & 1\\ \end{array}\right) = \left(\begin{array}{cc} x_1^T & 1 \\ x_2^T & 1\\ ... & ...\\ x_m^T & 1\end{array}\right)$$
    再将标记向量$y = (y_1;y_2;...;y_m)$ 写出来我们就可以将原来的多元线性回归模型的均方误差的式子写成
    $$\hat{w}^* = \mathop{\arg\min}\limits_{\hat{w}} (y- X\hat{w})^T(y- X\hat{w})$$
    令$E_{\hat{w}} =(y- X\hat{w})^T(y- X\hat{w})$ 则可以对$\hat{w}$ 求偏导，从而得到
    $$\frac{\partial E_{\hat{w}}}{\partial \hat{w}} = 2X^T(X\hat{w}- y)$$
    显然，这里面会涉及矩阵求逆，所以我们做讨论当$X^TX$ 为满秩矩阵或正定矩阵是，令上式等于0即可求出
    $$\hat{w}^* = (X^TX)^{-1}X^Ty$$

阶段小结：

从而得到最终的多元线性回归，但是我们常常遇到的就是不满足上述条件无法求逆，那么意味着这有如下几个继续需要探讨的问题：
1. 若果上述公式无法使用，我们应该使用什么优化算法来进行呢？
2. 多元线性回归局限性
3. 虽然每个数据有d个特征，但是这些特征并不是相互独立的，有一些是可以线性表达的，那么我们需要的就是给数据特征进行降维
4. 这时也就是引出来我们在使用ML时应该有的数据处理——特征工程 以及使用ML的标准流程
5. 从简单的线性回归我们其实可以看到，一个基本的学习器的算法组成为：数据预处理，有限训练数据集训练方式，回归预测/分类器模型，性能度量（Loss Function），优化算法等

GD算法：

因为$X^TX$ 是不一定可逆的，所以我们需要一个更加常用的采用迭代思想的算法逼近正确答案。点击超链接可以进入详解

线性回归局限性：

由上述式子可以知道，我们进行预测使用多项式表达式$f(x) = w^Tx + b$，但是当遇到样本模型自变量与因变量不是线性关系的时候，仍旧使用线性回归会导致欠拟合的问题，即我们使用的回归模型无法表达样本空间中自变量与因变量之间的相关关系，这样就有了两个方向来解决这个问题：
1. 我们是否可以对原有的线性回归模型进行修改？
2. 我们是否可以选择另外一个非线性学习器来进行学习预测？

针对第一个问题，我们需要有如下的了解：
1. 为什么我们要使用最小二乘参数估计？或者最小二乘估计为什么就可以对w，b进行估计呢？估计的值与真实值之间有偏差么？
- 答：令$\hat{w} = (w,1)$,那么我们期望得到的回归模型是$y = f(x) = \hat{w}x$，但是对于样本集中输出值不仅仅有模型影响，还有非模型的影响（例如，还缺少其他关键特征，随机噪声），正式因为有这些非模型影响，所以会导致我们的预测值与真实值会有很大的误差，想要使用线性回归来预测，我们需要做一个这样的假设，我们令输出值与输入值之间的模型如下：

$$y^{(i)} = \hat{w}x_i + \epsilon_i$$
其中 $\epsilon_i$ 表示第i个样本的预测值和真实值之间的误差，我们对这个误差有如下的假设（这就是回归分析常用的假设）：
1. $\epsilon_i$ 是属于均值为0，方差为 $\sigma^2$ 的高斯分布
2. $\epsilon_i$与 $\epsilon_j$ （ $i!=j$）是独立同分布的(IID)
3. 样本之间是相互独立的
根据如上假设，我们就会有
$$p(\epsilon_i) = \frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{\epsilon_i^2}{2\sigma^2})$$
在误差项为上述式子，并且为线性回归预测模型下，就会有
$$p(y_i|x_i;\hat{w}) = \frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(y_i-\hat{w}x_i)^2}{2\sigma^2})$$
这样的概率密度分布表达式，那么我们可以根据最大似然估计进行表示
$$L(\hat{w}) = \prod_{i=1}^mp(y_i|x_i;\hat{w}) = \prod_{i=1}^m\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(y_i - \hat{w}x)^2}{2\sigma^2})$$
上式对数操作得：
$$l(\hat{w}) = \sum_{i=1}^m log(\frac{1}{\sqrt{2\pi}\sigma})exp(-\frac{(y_i - \hat{w}x)^2}{2\sigma^2}) = mlog(\frac{1}{\sqrt{2\pi}\sigma}) - \frac{1}{\sigma^2}\frac{1}{2}\sum(y_i - \hat(w)x)^2$$
若使上式达到最大，则即为使
$$\frac{1}{\sigma^2}\frac{1}{2}\sum(y_i - \hat{w}x)^2$$

最小，这与我们用欧式距离理解的方差误差是一样的。
2. 回答完为什么要用均方误差之后，我们就要开始回答，是否可以在原来的线性回归上进行修改了？
a. 局部加权线性回归（Local Weighted Linear Regression，LWLR）：
- 基本思想：允许在估计中加入一定偏差，降低模型欠拟合的风险。对欧式距离添加权重，使离预测点越远的点权重越小，减低一部分方差大的点影响模型，加入一些偏差，从而降低欠拟合风险，增强线性回归的泛化性能，最常用的就是高斯核（这个核与SVM中使用的核类似），可以理解为，对预测点附近的点赋予更高的权重，这个和聚类的思想有些相近，高斯核为：

$$w(i) = exp(-\frac{|x_i - x|}{2k^2})$$
其中k表示了带宽参数，可以类比k近邻中的k，这个需要 注意优化，加入局部加权线性规划
$$\hat{w} = (X^TWX)^-1X^TWy$$
需要注意的是：LWLR增加了计算量，而且对一个点进行预测的时候需要用到整个训练数据样本集，所以需要的时间资源会很多

Logistic回归

• 基本思想：logistic回归主要应用在分类任务中，可以在一定程度上尽心单位节约函数的替代函数，同时logistic单调可微，保留了原数据集中的样本相对位置关系
• 表达式：$y = \frac{1}{1+e^{-(\hat{w}x)}} = \frac{1}{1+e^{-z}}$
• 函数图像（原谅我的盗用）：
  

• 我们可以通过上述表达式进行变换可以得到：
  

  $$ln( \frac{y}{1-y}) = \hat{w}^Tx$$
  如果我们将y表示成样本x表示正例的可能性，那么1-y就表示其为反例的可能性，二者比值
  $$\frac{y}{1-y}$$
  就称为“几率”，反应了x为正例的相对可能性，几率越大表示x为正例的可能性越大，对其取对数则得到“对数几率”
  $$ln(\frac{y}{1-y})$$
  由此可以看出表达式实际上是在用线性回归模型的预测结果去逼近真是标记的对数几率，需要注意的是，虽然是称为logistic回归，但是由于这个回归预测的值是对数几率，那么其实质在执行的任务就是对样本x进行分类任务，所以logistic回归是分类方法。 使用logistic回归进行分类有很多有优点：
  1. 是直接对分类可能性进行建模，是不需要实现假设其分布的，这样就不会因为样本分布不均匀所带来的建模不准确
  2. 不是仅预测出分类类别，也可以近似的得到概率预测，这对很多需要依靠概率帮助决策的任务很有帮助
  3. 对率函数是任意阶可导的凸函数，而且一阶导是可以有其本身表达的，所以就减少了很多数学上的推导

  同样的知道了模型是上述表达式之后，我们仍然要根据样本集来确定最佳的$\hat{w}$的取值，仍然需要一个优化的目标函数，和线性回归的均方误差推导过程一致，我们要使用极大似然法进行参数估计
  将y视为类后验概率估计，则有：
  

  $$ln(\frac{p(y=1|x)}{p(y=0|x)}) = \hat{w}^Tx$$
  利用$p(y=1|x) = 1 - p(y=0|x)$ 带入上式之后，可以得到
  $$p(y=1|x) = \frac{e^{\hat{w}^Tx}}{1+e^{\hat{w}^Tx}} = h_\hat{w}(x)$$
  $$p(y=0|x) = \frac{1}{1+e^{\hat{w}^Tx}} = 1 - h_\hat{w}(x)$$
  又因为在对于logistic回归中我们也做了一些基本假设，认定模型的分类任务是伯努利分布的，利用极大似然法，对参数$\hat{w}$ 进行估计则有其对数似然函数（目标优化函数）为：
  $$l(\hat{w}) = \sum_{i=1}^m y_iln h_\hat{w}(x) + (1-y_i)ln (1 - h_\hat{w}(x))$$

  这个优化函数是关于$\hat{w}$的高阶连续可导的凸函数，我们可以使用GD算法，牛顿法等优化算法进行优化，从而得到其最优解。
  GD算法：为了降低算法数据计算复杂度，我们采用每一个样本就更新一次，虽然这样有肯能进入局部最有，但是确实比普通GD收敛要快一些。目标优化最小化函数对$\hat{w}$求偏导可得：
  

  $$\frac{\partial l(\hat{w})}{\partial \hat{w}} = （y_i\frac{1}{ h_\hat{w}(x_i)}-(1-y_i)\frac{1}{1- h_\hat{w}(x_i)}）\frac{\partial h_\hat{w}(x_i)}{\partial \hat{w}} = (y_i - h_\hat{w}(x_i))x_i$$
  所以就有了更新迭代式：
  $$\hat{w}_{i+1} = \hat{w}_i + \alpha (y_i - h_\hat{w}(x_i))x_i)$$

  牛顿法：我们希望找到一个函数$f$的0点，那么我们可以通过不断迭代来不断逼近，牛顿法的迭代公式为：
  

  $$\theta = \theta - \frac{f(\theta)}{f'(\theta)}$$
  那么应用到上述目标优化最下滑函数就有
  
  $$\hat{w} = = \hat{w} - H^{-1}\nabla_\hat{w}l(\hat{w})$$
  其中H表示Hessian矩阵，矩阵中的元素(i,j)表示为$H_{ij} = \frac{\partial^2l(\hat{w})}{\partial \hat{w}^i \partial \hat{w}^j}$

广义线性模型（Generalized Linear Models，GLMs）

到目前位置，我们其实已经学过了线性回归和logistic回归，其中他们的联系是：
相同点：都是基于$w^Tx + b$来预测某种参数，基本假设中样本之间都是相互独立的，都使用最大似然法来进行最优化函数的推导
不同点：线性回归优化函数的得到是基于预测项为正太分布的，而logistic的得到是基于y预测项是伯努利分布的
接下来，我们就要介绍的广义线性模型，同样是想要基于$w^Tx + b$来预测某种参数，预测项是基于某种分布的
- 基本思想：GLMs都是基于指数簇分布的，我们会有这样的一个定义，这个指数簇分布函数可以写成如下的形式：

$$p(y;\eta) = b(y)exp(\eta^TT(y) - a(\eta))$$
其中 $\eta$是概率分布的自然参数（或称为规范参数,是我们要预测的参数），T(y)为充分统计量（在我们的经常使用到的分布中，T(y) = y），a(y)是对数分割函数（ $e^{-a(\eta)}$）
举例子说明：
伯努利分布：
$$p(y;\phi) = \phi^y(1-\phi)^{(1-y)} = exp(yln(\phi ) + (1-y)ln(1-\phi)) = exp(ln(\frac{\phi}{1 - \phi})y + ln(1-\phi))$$
写成这种形式，那么这个伯努利分布也是指数簇中的一个特例，其中自然参数 $\eta = ln(\frac{\phi}{1-\phi})$则 $\phi = \frac{1}{1-e^{-\eta}}$,那么对照指数簇的对应公式可以得到
$$T(y) = y\\ a(\eta) = log(1 + e^\eta)\\ b(y ) = 1$$

高斯分布：因为我们在计算高斯分布的最大似然函数得到均方误差的时候发现方差是不影响我们的优化过程的，那么为了方便计算，就使$\sigma^ 2= 1$,从而得到：

$$p(y;\mu) = \frac{1}{\sqrt{2\pi}}exp(-\frac{1}{2}(y-\mu)^2) = \frac{1}{\sqrt{2\pi}}exp(-\frac{1}{2})exp(\mu y - \frac{1}{2}\mu^2)$$
所以我们得到
$$\eta = \mu \\ T(y) = y \\ a(y) = \frac{\mu^2}{2}\\ b(y) = \frac{1}{\sqrt{2\pi}}exp(-\frac{1}{2})$$
接下来就是这个广义线性模型有什么用处呢？我们应该如何确定我们的 $\hat{w}^Tx$预测的是什么呢？

GLMs的构建：

1. 使用广义线性模型构建的基本假设：
   1.1 $y|x;\hat{w}$ ~ 指数簇分布$(\eta)$
   1.2 我们的目标的求T(y)在给出x条件下的期望，即模型$h(x) = E[T(y)|x]$
   1.3 自然参数$\eta$ 和输入x是线性相关的，即满足 $\eta = \hat{w}^Tx$
2. 举个例子来表示我们如何使用广义线性模型：
   步骤1： 我们先基本假设$y|x;\hat{w}$~某一个指数分布簇（以伯努利分布为例）
   步骤2：将伯努利分布化成GLMs的形式，如上
   步骤3：利用基本假设2，进行求解：
   $$h(x) = E[T(y)|x] = E[y|x] = \phi$$
   步骤4：利用GLMs中的$\eta$来表示步骤3中的结果
   $$\phi = \frac{1}{1+e^{-\eta}}$$
   步骤5：将步骤4中的$\eta$用$\hat{w}^Tx$替换，那么我们就得到了我们需要预测的值
   $$h(x) = \phi = \frac{1}{1+e^{-\hat{w}^Tx}}$$
   GLMs的应用：
   Softmax Regression：多分类任务
   我们假设预测值y会有k个不同取值，即$y \in \{1,2,3,...,k\}$我们可以使用k个参数$\phi_1,\phi_2,\phi_3...,\phi_k$来表示每个输出值的出现概率，所以他们满足$\sum_{i=1}^k\phi_i = 1$
   有之前的广义线性模型我们可以知道$T(y) = y$，但是我们现在可知在多分类任务中y的取值可以有k种，那么我们就定义$T(y) \in R^{k-1}$,注意：这里的T(y)是k-1维的
   $$T(1) ^T= [1,0,0,...,0]\\ T(2) ^T = [0,1,0,...,0]\\ ...\\ T(k-1)^T = [0,0,0,...,1]\\ T(k) ^T= [0,0,0,...,0]$$
   同时我们也定义了$E[(T(y))_i] = P(y = i) = \phi_i$
   所以我们有：
   $$p(y;\phi) = \phi_1^{1\{y = 1\}}\phi_2^{1\{y = 2\}}\phi_3^{1\{y = 3\}}\phi_4^{1\{y = 4\}}\phi_5^{1\{y = 5\}}...\phi_k^{1\{y = k\}} = \phi_1^{1\{y = 1\}}\phi_2^{1\{y = 2\}}\phi_3^{1\{y = 3\}}\phi_4^{1\{y = 4\}}\phi_5^{1\{y = 5\}}...\phi_k^{1-\sum_{i=1}^{k-1}1\{y = i\}} = \phi_1^{(T(y))_1}\phi_2^{(T(y))_2}...\phi_k^{1-\sum_{i=1}^{k-1}(T(y))_i} = exp((T(y))_i ln(\phi_1) + (T(y))_2 ln(\phi_2) + ...+ ((1-\sum_{i=1}^{k-1}(T(y))_i)ln(\phi_k)) = b(y) exp(\eta^TT(y) - a(\eta))$$
   其中
   $$b(y) = 1\\ \eta^T = [ln(\frac{\phi_1}{\phi_k}),ln(\frac{\phi_2}{\phi_k}),ln(\frac{\phi_3}{\phi_k}),...,ln(\frac{\phi_{k-1}}{\phi_k}),ln(\frac{\phi_{k}}{\phi_k})] \\ a(\eta) = -ln(\phi_k)$$
   因为我们需要将$\eta_i = \hat{w}_i^Tx$带入从而代替参数，所以我们需要将$\phi_i$用$\eta_i$来表示，所以有
   $$e^{\eta_i} = \frac{\phi_i}{\phi_k}\\ \phi_ke^{\eta_i} = \phi_i\\ \phi_k\sum_{i=1}^ke^{\eta_i} =\sum_{i=1}^k\phi_i = 1$$
   故而有
   $$\phi_k = \frac{1}{\sum_{i=1}^ke^{\eta_i}}\\ \phi_i = \frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}}$$
   然后我们将$\eta_i = \hat{w}_i^Tx$带入上式中就可以得到
   $$p(y=i|x;\hat{w}) = \phi_i = \frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}} = \frac{e^{ \hat{w}_i^Tx}}{\sum_{j=1}^ke^{ \hat{w}_i^Tx}}$$
   那么我们的模型就有了
   $$h_{\hat{w}}^T(x ) = E(T^T(y)|x;\hat{w}) = [\phi_1,\phi_2,...,\phi_k]$$
   如此softmax Regression的模型公式我们就得出了，接下来就是可以使用极大似然函数来进行优化了，即目标最大优化函数为
   $$l(\hat{w}) = \sum_{i = 1}^mlogp(y_i|x_i;\hat{w}_i) = \sum_{i = 1}^mlog\prod_{j=1}^k\phi_j^{1\{y_i = j\}}$$
   从而我们就可以得到使得上述式子最大化的$\hat{w}$，从而得到最后的模型$h_{\hat{w}}(x)$