机器学习的分类
根据训练数据是否有标记信息可分为监督学习和无监督学习
科学推理
归纳和演绎
评估方法
留出法
定义:直接将数据集D划分为两个互斥的集合。其中一个集合作为训练集,一个作为测试集。
常见做法是2/3-4/5的样本用于训练,剩余样本用于测试。
交叉验证法
定义:先将数据D划分为K个大小相似的互斥子集,每个子集Di尽量可能保持数据分布的一致性,即从D中通过分层采样得到。然后,每次用k-1个子集的并集作为训练集,余下的那个子集作为测试集。
因此交叉验证的评估结果的稳定性和保真性在很大程度上取决于k的取值
过程如图片所示:
自助法
定义:他直接以自助采样法为基础,给定包含m个样本的数据集D,我们对他采样产生数据集D’:每次随机从D中挑选一个样本,将其拷贝放入D’,然后再将此样本放回D。使这个过程重复执行m次。我们就得到了包含m个数据样本的D’,因为总是有放回,所以注定有些样本从未被选中,于是就以D‘作为训练集,D作为测试集。
调参与最终模型
性能度量
回归任务常用均方误差