有监督学习1--线性回归

有监督学习1–线性回归

对于有监督学习首先要理解几个概念：
有监督学习的预备知识：
什么是机器学习：
机器学习主要是研究如何使计算机从给定的数据中学习规律，即从观测数据（样本）中寻找规律，并利用学习到的规律（模型）对位置或无法观测的数据进行预测。
所谓“学习”是指：针对经验E(experience)和一系列的任务T(tasks)和一定表现的衡量P，如果随着经验E的积累，针对定义好的任务T可以提高表现P，就说计算机具有学习能力。
下图为E,T,P的关系图：

机器学习分类：
有监督学习：利用已知类别的样本，训练学习得到一个最优模型，使其达到所要求性能，再利用这个训练所得模型，将所有的输入映射为相应的输出，对输出进行简单的判断，从而实现分类的目的，即可以对未知数据进行分类。
无监督学习：对于没有标记的样本，学习算法直接对输入数据集进行建模，例如聚类，即“物以类聚，人以群分”。我们只需要把相似度高的东西放在一起，对于新来的样本，计算相似度后，按照相似程度进行归类。
半监督学习：试图让学习器自动地对大量未标记数据进行利用以辅助少量有标记数据进行学习。
强化学习：学习系统从环境到行为映射的学习，以使奖励信号（强化信号）函数值最大，强化学习不同于连接主义学习中的监督学习，主要表现在教师信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价（通常为标量信号），而不是告诉强化学习系统如何去产生正确的动作。

监督学习主要的两种类型算法是回归算法和分类算法。
回归用于预测输入变量和输出变量之间的关系，即回归模型是表示输入变量到输出变量之间映射的函数。
回归问题的学习等价于函数拟合：使用一条函数曲线，使其很好的拟合已知函数且很好的预测未知数据。
回归问题分为模型的学习和预测两个过程。基于给定的训练数据集构建一个模型，根据新的输入数据预测相应的输出。且预测值是连续的，即连续的输出值。
回归问题按照输入变量的个数可以分为一元回归和多元回归；按照输入变量和输出变量之间关系的类型， 可以分为 ：
线性回归
非线性回归

分类算法是通过构造一个分类函数或分类器的方法把数据库