Python深度学习之机器学习基础

Deep Learning with Python

这篇文章是我学习《Deep Learning with Python》(第二版，François Chollet 著) 时写的系列笔记之一。文章的内容是从 Jupyter notebooks 转成 Markdown 的，当我完成所以文章后，会在 GitHub 发布我写的所有 Jupyter notebooks。

你可以在这个网址在线阅读这本书的正版原文(英文)：https://livebook.manning.com/book/deep-learning-with-python

这本书的作者也给出了一套 Jupyter notebooks：https://github.com/fchollet/deep-learning-with-python-notebooks

---

本文为 第4章 机器学习基础 (Chapter 4. Fundamentals of machine learning) 的笔记整合。

本文目录：

机器学习的四个分支

4.1 Four branches of machine learning

1. 监督学习
2. 无监督学习
3. 自监督学习
4. 强化学习

机器学习模型评估

4.2 Evaluating machine-learning models

训练集、验证集和测试集

• 训练集：用来学习参数（网络里各节点的权重）；
• 验证集：用来学习超参数（网络的权重，比如层数、层的大小这种）；
• 测试集：用来验证结果，要保证模型从未见过这些数据。

测试集必须是单独分出来的，训练集、测试集中不能和测试集有重合。

最好的做法是，先把所有数据分成训练集和测试集。然后从训练集里分一部分出来做验证集。

以下是几种选择验证集的方法：

简单留出验证

SIMPLE HOLD-OUT VALIDATION

就是简单的从训练集里留出一部分来做验证集。

可用的数据多的时候才能用这个。不然数据少了，分出来的验证集就太小，不够一般，效果不好。

# Hold-out validation

num_validation_samples = 10000

np.random.shuffle(data)    # 洗牌，打乱数据

validation_data = data[:num_validation_samples]    #定义验证集
data = data[num_validation_samples:]

training_data = data[:]    # 定义训练集

# 在训练集训练模型，在验证集评估
model = get_model()
model.train(training_data)
validation_score = model.evaluate(validation_data)

## 然后这里可以根据结果调整模型，
## 然后重新训练、评估，然后再次调整...

# 在调整好超参数之后，用除了测试集的所有数据来训练最终模型
model = get_model()
model.train(np.concatenate([training_data, validation_data]))

# 用测试集来评估最终模型
test_score = model.evaluate(test_data)

K折验证

K-FOLD VALIDATION

这个方法是把数据等分成 K 份。对每个部分 i，在剩下的 K-1 个部分里训练，在 i 上验证评估。最终验证的结果取 K 次的验证值的平均。

这种方法对不同的训练、验证集划分对结果影响比较大时会很有效（比如数据比较少的时候）

emmm，我觉得这个图有点问题，应该除了那些灰色的是 Validation，白的应该都是 Training。（中文译本上就是这种）

# K-fold cross-validation

k = 4
num_validation_samples = len(data) // k

np.rand