机器学习笔记：常用评估方法

常用评估方法有三种：留出法，交叉验证法，自助法。

• 留出法 ：将数据集D分成两个互斥的训练集S和测试集T.
  【注】：保持数据分布一致（例：分层采样）
  多次重复划分 （例：100次随机划分）
  测试集不能太大也不能太小（一般再1/5~1/3之间）
• 留一法：特殊的留出法，每次测试集T为1.
• k折交叉验证：将数据集D切成k份。有数据集D1.D2.D3……Dk。重复的将其中一个数据集取出作为测试集，其余k-1份作为测试集。得到所有的测试结果取平均加权计算取得结果。
• 自助法（bootstrap）：是基于“自助采样”的方法。利用自助采样进行有放回的采样，一共有m个样本，就进行m次又放回随机采样。（别称：有返回采样，可重复采样）。可以得到一个关于m的关系式：（1-1/m）^m。但m趋向于无穷时，式子约等于0.368. 包外估计。
  【注】- 训练集和原样本集同规模
  - 数据分布有所改变