机器学习Day1

1.背景

以周志华教授的《机器学习》为核心学习AI知识

2.绪论中的重要概念整理

机器学习的目的：利用经验（数据）来改善系统性能
记录：(key1:value1, key2:value2 …)
数据集：记录的集合
示例（样本）：对一个事件或对象的描述
属性（特征）：key1,key2…
属性值：value1,value2…
属性空间（样本空间、输入空间）：key1,key2等组成的多维空间
特征向量：形如（value1,value2,value3）在多维空间中的坐标向量
训练（学习）：从数据中学得模型的过程
训练数据：训练过程中使用的数据
训练集：训练样本的集合
标记：示例结果的信息，例如true,false
分类：想预测的是离散值，例如true/false,0/1
回归：想预测的是连续值，如0.5，0.6
聚类：对训练集中的训练数据进行分组
测试：使用学得的模型进行预测的过程
测试样本：被测试的样本
监督学习：训练数据中有标记信息，包括分类、回归
无监督学习：训练数据中没有标记信息，包括聚类
泛化能力：学得的模型适用于新样本的能力
归纳：从特殊到一般
演绎：从一般到特殊
归纳学习：广义上相当于从样例中学习，狭义上要求从训练数据中学得概念（概念学习、概念形成）

3.归纳偏好

归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好
奥卡姆剃刀：选最简单的假设，但“最简单”本身就是一个问题
“没有免费的午餐”定理（NFL）：无论学习算法聪明与否，他们的期望性能相同
从NFL定理知道，脱离具体问题谈算法好坏没有意义

4.发展历程

1950-1970 推理期：赋予机器推理能力
1975- 知识期：机器学习专家的知识
1980- 机器学习期：研究重点是归纳学习，其核心是符号学习，包括决策树和基于逻辑的学习

基于逻辑的学习的代表是归纳逻辑程序设计（ILP），使用逻辑进行知识表示
连接主义学习：通过手动调参获得好的学习结果，后发展为深度学习，使用多层神经网络进行学习
统计学习：以统计学习理论为支撑，代表性技术为支持向量机（SVM）