Deep Learning with Python
这篇文章是我学习《Deep Learning with Python》(第二版,François Chollet 著) 时写的系列笔记之一。文章的内容是从 Jupyter notebooks 转成 Markdown 的,当我完成所以文章后,会在 GitHub 发布我写的所有 Jupyter notebooks。
你可以在这个网址在线阅读这本书的正版原文(英文):https://livebook.manning.com/book/deep-learning-with-python
这本书的作者也给出了一套 Jupyter notebooks:https://github.com/fchollet/deep-learning-with-python-notebooks
本文为 第4章 机器学习基础 (Chapter 4. Fundamentals of machine learning) 的笔记整合。
本文目录:
文章目录
机器学习的四个分支
4.1 Four branches of machine learning
- 监督学习
- 无监督学习
- 自监督学习
- 强化学习
机器学习模型评估
4.2 Evaluating machine-learning models
训练集、验证集和测试集
- 训练集:用来学习参数(网络里各节点的权重);
- 验证集:用来学习超参数(网络的权重,比如层数、层的大小这种);
- 测试集:用来验证结果,要保证模型从未见过这些数据。
测试集必须是单独分出来的,训练集、测试集中不能和测试集有重合。
最好的做法是,先把所有数据分成训练集和测试集。然后从训练集里分一部分出来做验证集。
以下是几种选择验证集的方法:
简单留出验证
SIMPLE HOLD-OUT VALIDATION
就是简单的从训练集里留出一部分来做验证集。
可用的数据多的时候才能用这个。不然数据少了,分出来的验证集就太小,不够一般,效果不好。
# Hold-out validation
num_validation_samples = 10000
np.random.shuffle(data) # 洗牌,打乱数据
validation_data = data[:num_validation_samples] #定义验证集
data = data[num_validation_samples:]
training_data = data[:] # 定义训练集
# 在训练集训练模型,在验证集评估
model = get_model()
model.train(training_data)
validation_score = model.evaluate(validation_data)
## 然后这里可以根据结果调整模型,
## 然后重新训练、评估,然后再次调整...
# 在调整好超参数之后,用除了测试集的所有数据来训练最终模型
model = get_model()
model.train(np.concatenate([training_data, validation_data]))
# 用测试集来评估最终模型
test_score = model.evaluate(test_data)
K折验证
K-FOLD VALIDATION
这个方法是把数据等分成 K 份。对每个部分 i,在剩下的 K-1 个部分里训练,在 i 上验证评估。最终验证的结果取 K 次的验证值的平均。
这种方法对不同的训练、验证集划分对结果影响比较大时会很有效(比如数据比较少的时候)
emmm,我觉得这个图有点问题,应该除了那些灰色的是 Validation,白的应该都是 Training。(中文译本上就是这种)
# K-fold cross-validation
k = 4
num_validation_samples = len(data) // k
np.rand