台大李宏毅Machine Learning学习笔记（一）

1.机器学习的概念

        机器学习是人工智能领域的一个重要分支。二十世纪四十年代至六十年代，控制论的发展能够解决简单的线性模型问题，单无法解决XOR问题，而且那时计算机计算能力也不足；二十世纪八十年代，用于神经网络的反向传播（Back Propagation,BP）算法和统计学习理论的出现，掀起了机器学习的热潮。
　　目前人们常说的深度学习是机器学习的一个重要分支，其发展的2个重要节点一是2006年深度置信网络的（Deep Belief Network,DBN）提出；二是2012年在ImageNet大规模视觉识别挑战（ImageNet Large Scale Visual Recognition Challenge,ILSVRC）大赛上，AlexNet模型以15.3%的错误率远超第二名（26.2%的错误率）一举夺冠，使卷积神经网络（Convolution Neural Network,CNN）重归大众视野，从那以后，人工智能研究成果如雨后春笋般涌现。

　　　　　　　　　　　　　　　　　　　　　图1 人工智能、机器学习、CNN之间的关系
　　机器学习的概念很难定义，目前并没有统一定论。两个比较权威的定义如下：
1.Arthur Samuel(1959):Field of study that gives computers the obility to learn without being explicitly programmed.
2.Tom Mitchell(1998):A computer program is said to learn from experience E with respect to some task T and some performance measure P,if its performance on T,as measured by P,imporoves with experience E.

2.课程学习框架

　　　　　　　　　　　　　　　　　　　　　　　　　　 图2 课程学习的框架
　　上图是整个课程的知识框架：回归、分类和结构化学习。
1.回归（regression）：用于连续型数值问题，输出为一个数值
2.分类（classification）：用于离散问题，可分为二值分类（Binary Classification）和多分类（Mulit-class Classification）问题。
3.深度学习（Deep Learning）
4.经典的机器学习算法：支持向量机（Support Vector Machine,SVM）、决策树（decision tree）等等。
5.结构化学习（Structured Learning）