西瓜书+南瓜书Chapter 1

第一章 绪论

深度学习：神经网络类的算法均可称为深度学习

涉及概念：

数据集dataset，示例instance，样本sample，属性attribute，特征feature，属性值attribute value，属性空间attribute space，样本空间samplespace，特征向量feature vector，维数dimensionality

训练数据training data，训练样本training sample，训练集training set，假设hypothesis，真相ground-truth，学习器learner

标记label，标记空间label space，分类classification，回归regression，二分类binaryclassification，正类positive class，反类negative class，多分类multi-classclassification，聚类clustering，簇cluster，监督学习supervised learning，无监督学习unsupervised learning，泛化generalization，独立同分布independent and identically distributed

归纳induction，演绎deduction，版本空间version space

归纳偏好inductive bias，特征选择feature selection，奥卡姆剃刀Occam’srazor，NFL定理no free lunch theorem

发展历程：

1950s-1970s，推理期，逻辑理论家logictheorists，通用问题求解general problem solving；连接主义connectionism（感知机perceptron），符号主义symbolism

1970s，知识期，专家系统；

1980s-1990s，学习期，符号主义学习（决策树decisiontree，归纳逻辑程序设计inductive logic programming），基于神经网络的连接主义学习（BP算法）

1990s，统计学习statistical learning（支持向量机supportvector machine，核方法kernel methods）

2000s，深度学习

2010s，大数据时代关键技术（机器学习，云计算，众包crowdsourcing），数据挖掘data mining