线性回归算法&梯度下降策略&逻辑回归算法

线性回归算法&梯度下降策略&逻辑回归算法

一个月过去了，这一个月也没有学习Python，期间准备了英语六级，感觉考的也不怎么样，之后又有课程设计，在学校事情太多了。。。。

放假回家了，元旦玩了4,5天，终于可以静下心来学习了。

线性回归算法

机器学习的数学基础很重要，学习的过程注定有很多不理解的以及枯燥的地方，一定要坚持下去！

线性回归例子：

数据：工资和年龄（2个特征）；目标：预测银行会贷款给我们多少钱（标签）；考虑：工资和年龄都会影响最终银行贷款的结果那么它们各自有多大的影响呢？（参数） 。

回归就是通过一个数据预测出来一个真实的值，而分类最终得到的是一个类别，要么银行借你钱：0，要么不借：1。

通俗解释：X1,X2就是我们的两个特征（年龄，工资），Y是银行最终会借给我们多少钱。找到最合适的一条线（想象一个高维）来
最好的拟合我们的数据点。红点是真实值。

引入数学：假设$\theta$ 1是年龄的参数， $\theta$ 2 是工资的参数。拟合的平面：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$（$\theta$ 0是偏置项，就是指数据上下浮动，对结果产生较小影响）。整合：$h_{\theta }(x)={\sum }_{i=0}^n{\theta }_i{x}_i={\theta }^{T}x$。（其中x0可以设置它是1，对数据额外增加一列x0，后面的式子意思就是做矩阵运算）

误差：真实值和预测值之间肯定是要存在差异的（用 $\epsilon$来表示该误差）。对于每个样本：$y^{(i)}={\theta }^T{x}^{(i)}+{\epsilon }^{(i)}$（这里的i指的是第几个样本）

误差${\epsilon }^{(i)}$ 是独立并且具有相同的分布，并且服从均值为0方差为${\theta }^2$ 的高斯分布；独立：张三和李四一起来贷款，他俩没关系；同分布：他俩都来得是我们假定的这家银行；高斯分布（也叫正态分布）：银行可能会多给，也可能会少给，但是绝大多数情况下这个浮动不会太大，极小情况下浮动会比较大，符合正常情况。

预测值与误差：$y^{(i)}={\theta }^T{x}^{(i)}+{\epsilon }^{(i)}$ （1），由于误差服从高斯分布：$p\left({ϵ}^{(i)}\right)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left({ϵ}^{(i)}\right)}^2}{2{\sigma }^2}\right)$ （2）

将（1）式带入（2）式：$p\left(y^{(i)}\mid x^{(i)};\theta \right)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)$

似然函数：$L(\theta )={\prod }_{i=1}^{m}p\left(y^{(i)}\mid x^{(i)};\theta \right)={\prod }_{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)$(解释：什么样的参数跟我们的数据组合后恰好是真实值)

对数似然：$\log L(\theta )=\log {\prod }_{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)$（解释：乘法难解，加法就容易了，对数里面乘法可以转换成加法）

展开化简：$\begin{array}{l}{\sum }_{i=1}^m\log \frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)=m\log \frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}\cdot \frac{1}{2}{\sum }_{i=1}^m{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2\end{array}$

目标：让似然函数（对数变换后也一样）越大越好。$J(\theta )=\frac{1}{2}{\sum }_{i=1}^m{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2$（最小二乘法）（即让这个式子越小越好）

目标函数：$J(\theta )=\frac{1}{2}{\sum }_{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2=\frac{1}{2}(X\theta -y{)}^T(X\theta -y)$ (其中$h_{\theta }(x)={\theta }^{T}x$，目标函数进行了替换。另外平方项展开，对于矩阵来说，x的平方等于x的转置乘以自身。展开之后就是上式)

求偏导（前面的式子一直展开）：

$\begin{array}{l}{\nabla }_{\theta }J(\theta )={\nabla }_{\theta }\left(\frac{1}{2}(X\theta -y{)}^T(X\theta -y)\right)={\nabla }_{\theta }\left(\frac{1}{2}\left({\theta }^T{X}^T-y^T\right)(X\theta -y)\right)\\ ={\nabla }_{\theta }\left(\frac{1}{2}\left({\theta }^T{X}^{T}X\theta -{\theta }^T{X}^{T}y-y^{T}X\theta +y^{T}y\right)\right)\\ =\frac{1}{2}\left(2X^{T}X\theta -X^{T}y-{\left(y^{T}X\right)}^T\right)=X^{T}X\theta -X^{T}y\end{array}$

偏导等于0：$\theta ={\left(X^{T}X\right)}^{-1}{X}^{T}y$

评估方法：最常用的评估项$R^2$ ：$1-\frac{{\sum }_{i=1}^m{\left({\hat{y}}_i-y_i\right)}^2（残差平方和）}{{\sum }_{i=1}^m{\left(y_i-\bar{y}\right)}^2（类似方差项）}$。$R^2$ 的取值越接近于1我们认为模型拟合的越好

梯度下降策略

梯度就是求完偏导之后的偏导数，下降就是求的是梯度上升的反方向。

引入：当我们得到了一个目标函数后，如何进行求解？直接求解？（并不一定可解，线性回归可以当做是一个特例）

常规套路：机器学习的套路就是我交给机器一堆数据，然后告诉它什么样的学习方式是对的（目标函数），然后让它朝着这个方向去做

如何优化：一口吃不成个胖子，我们要静悄悄的一步步的完成迭代（每次优化一点点，累积起来就是个大成绩了）

目标函数：$J\left({\theta }_0,{\theta }_1\right)=\frac{1}{2m}{\sum }_{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2$ （m是样本个数）。寻找山谷的最低点，也就是我们的目标函数终点（什么样的参数能使得目标函数达到极值点）

下山分几步走呢？（更新参数）（1）：找到当前最合适的方向（2）：走那么一小步，走快了该”跌倒 ”了（3）：按照方向与步伐去更新我们的参数

梯度下降，目标函数：$J(\theta )=\frac{1}{2m}{\sum }_{i=1}^m{\left(y^i-h_{\theta }\left(x^i\right)\right)}^2$

批量梯度下降：$\frac{\partial J(\theta )}{\partial {\theta }_j}=-\frac{1}{m}{\sum }_{i=1}^m\left(y^i-h_{\theta }\left(x^i\right)\right)x_j^i$ ${\theta }_j^{\prime }={\theta }_j+\frac{1}{m}{\sum }_{i=1}^m\left(y^i-h_{\theta }\left(x^i\right)\right)x_j^i$ （容易得到最优解，但是由于每次考虑所有样本，速度很慢）

随机梯度下降：${\theta }_j^{\prime }={\theta }_j+\left(y^i-h_{\theta }\left(x^i\right)\right)x_j^i$ （每次找一个样本，迭代速度快，但不一定每次都朝着收敛的方向）

小批量梯度下降法：${\theta }_j:={\theta }_j-\alpha \frac{1}{10}{\sum }_{k=i}^{i+9}\left(h_{\theta }\left(x^{(k)}\right)-y^{(k)}\right)x_j^{(k)}$ （每次更新选择一小部分数据来算，实用！）

学习率（步长）：对结果会产生巨大的影响，一般小一些；如何选择：从小的时候，不行再小；批处理数量（尽量大一些）：32，64，128都可以，很多
时候还得考虑内存和效率。

逻辑回归算法

Logistic regression，目的：分类还是回归？经典的二分类算法！机器学习算法选择：先逻辑回归再用复杂的，能简单还是用简单的；

逻辑回归的决策边界：可以是非线性的。

Sigmoid 函数，公式：$g(z)=\frac{1}{1+e^{-z}}$ ，自变量取值为任意实数，值域[0,1]；解释：将任意的输入映射到了[0,1]区间我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid 函数中这样就完成了由值到概率的转换，也就是分类任务。

预测函数：$h_{\theta }(x)=g\left({\theta }^{T}x\right)=\frac{1}{1+e^{-{\theta }^{T}x}}$ ，其中${\theta }_0+{\theta }_1{x}_1+,\dots ,+{\theta }_n{x}_n={\sum }_{i=1}^n{\theta }_i{x}_i={\theta }^{T}x$

分类任务：$\begin{array}{l}P(y=1\mid x;\theta )=h_{\theta }(x)\\ P(y=0\mid x;\theta )=1-h_{\theta }(x)\end{array}$ 整合：$P(y\mid x;\theta )={\left(h_{\theta }(x)\right)}^{\mathrm{y}}{\left(1-h_{\theta }(x)\right)}^{1-y}$

解释：对于二分类任务（0，1），整合后y取0只保留${\left(1-h_{\theta }(x)\right)}^{1-y}$ ，y取1只保留${\left(h_{\theta }(x)\right)}^y$

似然函数：$L(\theta )={\prod }_{i=1}^{m}P\left(y_i\mid x_i;\theta \right)={\prod }_{i=1}^m{\left(h_{\theta }\left(x_i\right)\right)}^{y_i}{\left(1-h_{\theta }\left(x_i\right)\right)}^{1-y_i}$

对数似然：$l(\theta )=\log L(\theta )={\sum }_{i=1}^m\left(y_i\log h_{\theta }\left(x_i\right)+\left(1-y_i\right)\log \left(1-h_{\theta }\left(x_i\right)\right)\right)$

此时应用梯度上升求最大值，引入$J(\theta )=-\frac{1}{m}l(\theta )$ 转换为梯度下降任务

求导过程：

$\begin{array}{l}l(\theta )=\log L(\theta )={\sum }_{i=1}^m\left(y_i\log h_{\theta }\left(x_i\right)+\left(1-y_i\right)\log \left(1-h_{\theta }\left(x_i\right)\right)\right)\\ \frac{\delta }{{\delta }_{{\theta }_j}}J(\theta )=-\frac{1}{m}{\sum }_{i=1}^m\left(y_i\frac{1}{h_{\theta }\left(x_i\right)}\frac{\delta }{{\delta }_{{\theta }_j}}{h}_{\theta }\left(x_i\right)-\left(1-{\mathrm{y}}_{\mathrm{i}}\right)\frac{1}{1-h_{\theta }\left(x_i\right)}\frac{\delta }{{\delta }_{\theta }}{h}_{\theta }\left(x_i\right)\right)\\ =-\frac{1}{m}{\sum }_{i=1}^m\left(y_i\frac{1}{g\left({\theta }^{\mathrm{T}}{x}_i\right)}-\left(1-{\mathrm{y}}_{\mathrm{i}}\right)\frac{1}{1-g\left({\theta }^{\mathrm{T}}{x}_i\right)}\right)\frac{\delta }{{\delta }_{\theta }}g\left({\theta }^{\mathrm{T}}{x}_i\right)\\ =-\frac{1}{m}{\sum }_{i=1}^m\left(y_i\frac{1}{g\left({\theta }^{\mathrm{T}}{x}_i\right)}-\left(1-{\mathrm{y}}_{\mathrm{i}}\right)\frac{1}{1-g\left({\theta }^{\mathrm{T}}{x}_i\right)}\right)g\left({\theta }^{\mathrm{T}}{x}_i\right)\left(1-g\left({\theta }^{\mathrm{T}}{x}_i\right)\right)\frac{\delta }{{\delta }_{{\theta }_j}}{\theta }^{\mathrm{T}}{x}_i\\ =-\frac{1}{m}{\sum }_{i=1}^m\left(y_i\left(1-g\left({\theta }^{\mathrm{T}}{x}_i\right)\right)-\left(1-{\mathrm{y}}_{\mathrm{i}}\right)g\left({\theta }^{\mathrm{T}}{x}_i\right)\right)x_i^j\\ =-\frac{1}{m}{\sum }_{i=1}^m\left(y_i-g\left({\theta }^{\mathrm{T}}{x}_i\right)\right)x_i^j\\ =\frac{1}{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x_i\right)-y_i\right)x_i^j\end{array}$

$x_i^j$ 其中i指的是第几个样本，每个样本都要考虑这样的问题，j指的是当前样本的第几个特征，对应参数选定特定的列。

参数更新：${\theta }_j:={\theta }_j-\alpha \frac{1}{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x_i\right)-y_i\right)x_i^j$ ($\alpha$指的是更新的力度（学习率，步长），后面的式子指的是方向，步长*方向=更新的结果值。负号就是指梯度下降，$\frac{1}{m}$就是指包含了所有的样本去做的)

多分类的softmax: $h_{\theta }\left(x^{(i)}\right)=\left[\begin{array}{c}p\left(y^{(i)}=1\mid x^{(i)};\theta \right)\\ p\left(y^{(i)}=2\mid x^{(i)};\theta \right)\\ ⋮\\ p\left(y^{(i)}=k\mid x^{(i)};\theta \right)\end{array}\right]=\frac{1}{{\sum }_{j=1}^k{e}^{{\theta }_j^T{x}^{(i)}}}\left[\begin{array}{c}{e}^{{\theta }_1^T{x}^{(i)}}\\ e^{{\theta }_2^T{x}^{(i)}}\\ ⋮\\ e^{{\theta }_k^T{x}^{(i)}}\end{array}\right]$

总结：逻辑回归真的真的很好很好用！