机器学习笔记总结--Coursera吴恩达

网易云视频连接：https://study.163.com/course/courseMain.htm?courseId=1004570029
笔记参考：http://daniellaah.github.io/2016/Machine-Learning-Andrew-Ng-My-Notes

监督学习与无监督学习

机器学习（Machine Learning，简ML）算法根据学习方式可分为两大类：

• 监督学习（Supervised learning）
• 无监督学习（Unsupervised learning）

从数据的角度来看，两者最显著的区别是在于数据集（训练集）中是否已有标签。下面我们对这两类给予较为详细的解释。
PS：机器学习算法分类

一、监督学习

1.1 定义

维基百科给出了如下定义：

监督式学习（英语：Supervised learning），是一个机器学习中的方法，可以由训练资料中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练资料是由输入物件（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）

百度百科给出：

利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。监督学习是从标记的训练数据来推断一个功能的机器学习任务。训练数据包括一套训练示例。在监督学习中，每个实例都是由一个输入对象（通常为矢量）和一个期望的输出值（也称为监督信号）组成。监督学习算法是分析该训练数据，并产生一个推断的功能，其可以用于映射出新的实例。

监督学习需给予算法一个包含真实值的数据集，利用这组数据集，对新的数据进行预测推断。监督学习的训练集（数据集）中包含特征与标签信息。

1.2 监督学习分类及举例

• 回归（Regression problem）
  例如，房价预测：我们已有的数据集包括房屋面积与对应的价格，我们的目标即利用面积来预测房价。值得注意的是，这里的输出数据房价可以看成是一个连续值。换句话说，通过算法可以得到面积与房价的一个函数关系。房屋面积即特征，对应的房价即标签。
• 分类（Classification problem）
  分类问题即对数据进行分类。例如，我们已有一组关于乳腺癌的医学数据，其中包括肿瘤的大小及该肿瘤是恶性还是良性的，我们的目标是给定一个肿瘤大小来预测它是良性还是恶性（分类）。若良性表0，恶性表1，那么我们要得到的输出数据即为离散值。输出数据的种类可能大于两个，例如可用{0,1,2,3}代表4种输出：良性、第一类肿瘤、第二类肿瘤、第三类肿瘤。这里，肿瘤的大小即特征，良性、恶性即为标签。也就是说，这里的标签是离散值。

通俗来讲，在监督学习中，我们知道数据是什么样的（数据的特征），也知道我们对这些数据进行处理以后能够得到怎样的信息（数据的标签）。

二、无监督学习

2.1 定义

百度百科给出如下：

现实生活中常常会有这样的问题：缺乏足够的先验知识，因此难以人工标注类别或进行人工类别标注的成本太高。很自然地，我们希望计算机能代我们完成这些工作，或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。

类别未知（即无标签），例如在上述例子中房价、肿瘤的良恶性是未知的。我们需要发掘出训练集中的对我们有价值的信息。

2.2 无监督学习算法与举例

无监督学习中，最典型也是最常用的算法为 聚类算法（Clustering）。百度百科给出了聚类的定义：

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。“物以类聚，人以群分”，在自然科学和社会科学中，存在着大量的分类问题。聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。

典型的聚类分析例子有：新闻分类、社会交际分析、客户市场分析、天文数据分析等。

---

---

单变量线性回归

一、基本概念

• 训练集（Training Set）
  由训练样例组成的集合为训练集。我们用$(x,y)$表示训练集，$(x^{(i)},y^{(i)})$表示训练集中第$i$个训练样例。
  例如，下列面积与房价的训练集

房屋面积(m2)	房价(万)
120	276
90	216

那么第1个训练样例$(x^{(1)},y^{(1)})=(120,276)$。

• 假设函数（Hypothesis Function）
  即为拟合数据，我们构造的数学模型。例如在上面房价预测的例子中，房屋面积与房价的函数关系即为假设函数。
  这里我们考虑线性的假设函数。记假设函数为$h_{\theta }(x)$，也可记为$h(x)$：
  $$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$$那么这个模型称为 单变量的线性回归模型(Linear Regression with One Variable).
• 代价函数（Cost Function）
  在假设函数中，${\theta }_0$、${\theta }_1$是未知的。由于数据集基本不可能完美地由一条直线来拟合，那么我们需要找到最合适的${\theta }_0$、${\theta }_1$使得数据能够达到最佳拟合状态。因为，我们引入了代价函数的概念。假设我们有$m$个训练样例，代价函数$J({\theta }_0,{\theta }_1)$为：
  $$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$ 代价函数很好理解，即我们通过假设函数估计出的输出值$h_{\theta }(x^{(i)})$与真实值$y^{(i)}$的平方误差的平均。我们期望最佳拟合，即期望代价函数达到最小值：
  $$\underset{({\theta }_0,{\theta }_1)}{\min }J({\theta }_0,{\theta }_1)$$求解上述优化问题所得到的$({\theta }_0,{\theta }_1)$即是我们想要的假设函数的参数，也就是说，最佳拟合的假设函数便得到了。