机器学习基础知识精讲

1、超参数
在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。
超参数的一些示例：
a 树的数量或树的深度
b 矩阵分解中潜在因素的数量
c 学习率（多种模式）
d 深层神经网络隐藏层数
e k均值聚类中的簇数
2、留出法(hold-out)
直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另外一个作为测试集T，即D=S∪T,S∩T=0。在S上训练出模型后，用T来评估其测试误差，作为对泛化误差的评估。
留一法是留出法的一个特列，假如样本容量为m，则训练一个模型时需要将m-1个样本作为训练样本，将剩余的1个样本作为测试样本，每个样本都需要被选出一次作为测试样本，因此共需要训练m个学习器。

参考文献：
https://baike.baidu.com/item/超参数/3101858?fr=aladdin