【温大机器学习笔记】-②回归

回归

回归问题是机器学习三大基本模型中很重要的一环，其功能是建模和分析变量之间的关系。

线性回归

回归：从一组数据出发，确定某些变量之间的定量关系式
同属于监督学习中
回归（Regression、Prediction）：预测石油价格、股票价格
分类（Classification）：判断男女，判断瓜的好坏
线性回归：是通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个超平面，是得预测值与真实值之间的误差最小。
符号约定：

感觉这里的推导过程还是蛮详细且重要的

自己推导一遍还蛮有意思的！

梯度下降

个人理解：就比如上图一样，从山顶下到山脚下，每次拖动一步，但是呢！方向选择很多，这是，我们找到目前情况下，坡度最陡的作为下一步的下山方向

常见的梯度下降三种形式
批量梯度下降Batch Grandient Descent BGD：
梯度下降的每一步中，都用到了所有的训练样本

随机梯度下降(Stochastic Gradient Descent SGD)：
梯度下降的每一步中，用到一个样本，在每一次计算之后
便更新参数 ，而不需要首先将所有的训练集求和


小批量梯度下降(Mini-Batch Gradient Descent MBGD)：
梯度下降的每一步中，用到了一定批量的训练样本

梯度下降和最小二乘法比较

数据归一化/标准化


这一带你很重要！

正则化

先说明什么时欠拟合和过拟合

针对过拟合处理，一般有 增加训练样本、降维、正则化、集成学习方法

针对欠拟合数据，一般处理，添加新的特征、增加模型复杂度、减小正则化系数

常见的正则化时L1、L2，ＥＮ

回归的评价指标