机器学习与数据挖掘学习笔记（2）回归

目录

一、回归定义

二、回归的评估指标

三、回归模型的常用方法

四、线性模型

五、神经网络

5.1M-P神经元模型

5.2单层感知机

5.3多层前馈神经网络

5.4深度神经网络

六、最近邻学习

---

 

一、回归定义

回归分析和分类问题非常相似，不同的是分类问题得到的结果是离散化的，不是属于这个类就是那个类，不会有处于中间的情况，而回归分析最后得到的结果往往是一个具体的数值，即连续的一个结果。

回归分析的基本过程也是分为：训练、测试和工作三个阶段。

二、回归的评估指标

和分类的评估指标类似：

• 精度：回归模型预测的准度；
• 速度：构建学习回归模型的时间；
• 鲁棒性：模型面对不同的多样未知数据的稳定性能，特别是面对一些含缺省值和噪声的数据样本。

三、回归模型的常用方法

• 线性学习
• 神经网络学习
• 支持向量机学习
• 决策树学习
• 贝叶斯学习
• 最近邻学习
• 演化学习
• 集成学习

四、线性模型

说到线性模型，相信大家应该都听过线性回归。

线性回归是一种非常经典的线性模型，通常会给定m个属性描述的样本，线性回归利用线性函数学习样本来确定函数的参数值，其中。我们以一元线性回归为例，通过直线方程y=ax+b对已知的散点数据进行拟合，得到一组较好的参数a、b，拟合的方法比较常见的就是最小二乘法，即让所有散点到目标直线上的距离和最小，然后任意输入一个x1即可计算出对应的函数值y1，这就是线性回归的主要思路。

线性回归是一种非常简单的关系，但是在现实生活中很多问题是非线性的。我们可以利用线性回归的预测值作为一个中间的变量，再给他一个非线性的变化取逼近真实值，这种模型统称为广义线性回归：

                                                                 

其中就是非线性的函数，称为联系函数，当为指数函数时，得到的模型为对数线性回归，因为线性回归得到的值是真实值的对数。

                                                                     

如果碰到某个问题不需要得到具体的值，只需要给出类别即可，那么将联系函数