机器学习（五）——回归

一. 线性回归

1.1线性回归基本原理

参考：https://www.cnblogs.com/pinard/p/6004041.html

1.2 线性回归的损失函数推导（图形理解）

        原理： 极大似然估计采用的是高斯分布

详细推导公式参考：暂定（ppt）

1.3 线性回归的损失函数的正规解

详细推导公式参考：暂定（ppt）

1.4 线性回归的损失函数的梯度下降法

        参考：https://blog.csdn.net/heyongluoyao8/article/details/52478715

         公式解释：  https://www.jianshu.com/p/492e1c9ddf45

 

1.41 批量梯度算法

1.42 随机梯度算法

     参考：https://www.cnblogs.com/eczhou/p/3951861.html

1.43 小批量梯度算法

1.44  正规解和梯度下降算法的优劣

参考：https://blog.csdn.net/lonelyrains/article/details/48949159

1.5线性回归的正则化---------防止过拟合

        暂定，参考：https://blog.csdn.net/jinping_shi/article/details/52433975

1.6局部加权线性回归

        暂定，参考：http://lib.csdn.net/article/machinelearning/35178

https://blog.csdn.net/caimouse/article/details/60334243

                             https://blog.csdn.net/longgb123/article/details/79079434

 

二. logistic回归

        逻辑回归是线性回归通过sigmoid函数映射的广义线性回归模型

详细参考：https://www.cnblogs.com/Belter/p/6128644.html                                                                https://blog.csdn.net/pakko/article/details/37878837                                    https://www.cnblogs.com/sxron/p/5489214.html

1.1 logistic回归思路

   

1.2  logistic回归损失函数的基本推导

        最大似然数采用伯努利分布（也可以泊松分布等其他分布，凡是符合指数组分布的随机变量，都可以用GLM回归分析）

1.21 概率分析（伯努利分布分析）

 

图2 逻辑方程与逻辑曲线

    逻辑回归其实仅为在线性回归的基础上，套用了一个逻辑函数（sigmoid函数），但也就由于这个逻辑函数，逻辑回归成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。对于多元逻辑回归，可用如下公式似合分类，其中公式(4)的变换，将在逻辑回归模型参数估计时，化简公式带来很多益处，y={0,1}为分类结果。 

    对于训练数据集，特征数据x={x1, x2, … , xm}和对应的分类数据y={y1, y2, … , ym}。构建逻辑回归模型f(θ)，最典型的构建方法便是应用极大似然估计。首先，对于单个样本，假定和h(x)遵从伯努利分布，则其后验概率为（选择的分布模型不同，那么概率公式就不同）：

   

那么，极大似然函数为：

log似然是：

 

 

1.3 logistic回归梯度下降算法

由第1节可知，求逻辑回归模型f(θ)，等价于：

   

采用梯度下降法：

     从而迭代θ至收敛即可：

 

 

三. Softmax回归

参考：http://ufldl.stanford.edu/wiki/index.php/Softmax回归#.E7.AE.80.E4.BB.8B

原理，参考：http://ufldl.stanford.edu/wiki/index.php/Softmax回归

 

四. AUG

暂定