回归与分类、线性与非线性、监督学习与非监督学习

1 回归与分类

1 输出数据的类型不同

分类输出的数据类型是离散数据，这类数据在任何两个数据点之间的个数是有限的，例如某年级有十个班，这里班级的数目就是离散数据。

回归输出的是连续数据，这类数据在任何两个数据点之间可以细分出无限多个数值。

2 目的不同

分类算法得到是一个决策面，用于对数据集里的数据进行分类。

回归算法得到是一条最优拟合线，这条线可以较好地拟合数据集里的各个点。

3 对模型的评估指标不同

在分类中，我们我们通常会使用正确率作为为指标，也就是预测结果中分类正确数据占总数据的比例

在回归中，我们用决定系数R平方来评估模型的好坏。R平方表示有多少百分比的y波动被回归线描述。

2 线性与非线性

1 线性，指量与量之间按比例、成直线的关系，在数学上可以理解为一阶导数为常数的函数；非线性则指不按比例、不成直线的关系，一阶导数不为常数。

2 线性与非线性的一个明显区别是叠加性是否有效。在一个系统中，如果两个不同因素的组合作用只是两个因素单独作用的简单叠加，这种关系或特性就是线性的。反之，如果一个系统中一个微小的因素能够导致用它的幅值无法衡量的结果，这种关系或特性就是非线性的。

3 而实际上，线性系统在自然界或人类社会中几乎是不存在的。譬如，理论上一个人一天干的活，三个人干一天就应该由三倍产出。这就是线性思维。而实际上，增加的人员改变了系统的内部组成，不光是结构的改变，更重要的是改变了系统内部要素间的相互关系。其结果可能是正面的（男女搭配，干活不累），也有可能是负面的（三个和尚没水吃），总之，假设系统要素间互不相干只有在非常有限的情况下可以成立。世界本质上是一个复杂的，非线性的世界。作为普遍存在的非线性系统，作用的总和不等于每一份作用相加的代数和，是因为系统内部要素之间存在着复杂（非线性）的非线性相互作用。

3 监督学习与非监督学习

1 监督学习
定义：根据已有的数据集，知道输入和输出结果之间的关系。根据这种已知的关系，训练得到一个最优的模型。也就是说，在监督学习中训练数据既有特征(feature)又有标签(label)，通过训练，让机器可以自己找到特征和标签之间的联系，在面对只有特征没有标签的数据时，可以判断出标签。。

2 无监督学习
定义：我们不知道数据集中数据、特征之间的关系，而是要根据聚类或一定的模型得到数据之间的关系。可以这么说，比起监督学习，无监督学习更像是自学，让机器学会自己做事情，是没有标签（label）的。

3 举个例子理解二者的区别

对于平时的考试来说，监督学习相当于我们做了很多题目都知道它的标准答案，所以在学习的过程中，我们可以通过对照答案，来分析问题找出方法，下一次在面对没有答案的问题时，往往也可以正确地解决。 而无监督学习，是我们不知道任何的答案，也不知道自己做得对不对，但是做题的过程中，就算不知道答案，我们还是可以大致的将语文，数学，英语这些题目分开，因为这些问题内在还是具有一定的联系。