机器学习 学习笔记01

介绍

作为机器学习（Machine Learning，一下简称ML）的入门级学员，急需要一本可以信赖的书籍来踏进ML的大门，经过多方询问和查询，选择了周志华的这本机器学习，在这里写下自己对这本书的学习笔记和一些见解，请各位指正。

基本术语

---

对于一门新的学科，肯定会有很多新的专业术语，在我看论文的过程中深有体会，比如CNN、Faster CNN等，如果不搞清楚这些个术语，那只能是盲人摸象。

1. 机器学习： 利用数据作为经验来改善系统自身的性能，从数据中产生“模型”；
2. 数据集（data set）： D={ x₁,x₂,…,x_m},x_i=（x_i1，x_i2,…,x_id),x_i∈χ，x_i是d维样本空间χ的一个向量；
3. 训练集： 学得模型所用的数据；
4. 测试集： 使用学得模型进行预测的数据；
5. 分类（Classification）： 预测的结果是离散值，对样例{（ x₁，y₁）,（ x₂，y₂）,…（ x_m，y_m）}进行学习，建立映射f：χ→γ；二分类，γ={-1，+1}或者{0,1}，多分类γ>|2|;
6. 回归（Regression）： 预测的结果是连续值,γ=R(实数集）；
7. 监督学习（Supervised Learning）：样本拥有标记的学习，比如分类和回归；
8. 无监督学习（Unsupervised Learning）：样本没有标记的学习，比如聚类，学习过程中自动形成的组（“簇”）；
9. 泛化能力（Generalization）：学得的模型适用于新样本的能力；
10. 假设空间：学习的过程中，属性可能的取值所形成的的假设，现实中，假设空间一般很大；另外，多个假设与训练集一致，即存在一个与训练集一致的“假设集合”，称之为“版本空间（Version Space）”；
11. 归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好；

---

定理

---

1. 奥卡姆剃刀（Occam’s razor）：是一种常用的，自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选最简单的那个”；
2. 没有免费的午餐定理：所有“问题”出现的机会相同、或所有问题同等重要，无论学习算法多聪明或者笨拙，它们的期望性能是相同的；此定理告诉我们，脱离具体问题，空泛的谈论“什么学习算法更好”毫无意义。
3. 多释原则：主张保留与经验观察一致的所有假设。

---

发展历程

---

---

机器学习分类：“机械学习”，“示教学习”，“类比学习”和“归纳学习”，1980s一来，被研究最多、应用最广的是“从样例中学习”（也就是广义的归纳学习），涵盖了监督学习、无监督学习等。主流技术发展如下：

---