机器学习（一）--- 监督学习之回归

参考学习资料：http://cs229.stanford.edu/materials.html

通过对学习，掌握的知识点包括：

• 什么是 cost fuction
• Linear regression的概念
• Logistic regression的概念

============监督学习的引出==============

机器学习可以分为两个大类，一个是监督学习（supervised learning），一个是无监督学习（unsupervised learning）。监督学习的主要任务是通过给定输入样本，从而找出对应的分类或者变化的趋势，对应的术语概念就是分类和回归。之所以成为监督学习，是因为这类算法必须知道需要预测什么，即目标变量的分类信息。而无监督学习是没有类别信息的，也没有给定的目标值，需要完成的任务是将类似的对象归纳为一个类型，即聚类，或者寻找描述数据统计值得过程，即密度估计。一下是一个关于监督学习的一个例子，具体来说是实现回归： 需要预测一组房子的大小和房价之间的关系：

房价和房子大小的二维显示如下：

进行建模分析：

1、代表第i-th个特征变量，这里代表的是第i个房子的房子的大小，对应上图的横坐标

2、代表第i-th个输出变量，或者目标值，在这个例子中代表需要预测的房价信息，对应上图的纵坐标

3、这样一组值，代表一组训练样本，trainning example，很多这样的的训练样本构成训练集，trainning set

4、代表特征变量构成的空间集合，代表目标值构成的空间集合

现在需要进行的任务是，确定学习算法，确立特征变量和目标值之间的存在的某种关系，即找出映射关系：，使得函数可以很好的预测测试样本，找到与之对应的目标值。在机器学习的术语中，h称为hypothesis。因此学习的模型大致如下：

以上就是监督学习的一个典型例子，更加确切的说是回归的一个例子。接下来介绍一个解决以上问题的一个解决方案：Linear regression，线性回归

===========Linear regression===========

在Linear regression中，模型建立的出发点是特