-
hold out 检验
- 将原始的样本集合按比例划分成训练集和验证集，例如7:3， 8:2等，
- 缺点：验证集上的评估指标与数据划分有很大的关系，因此为了消除随机性，常采用下面的交叉检验
-
交叉检验
- k fold交叉验证：将数据集随机划分成k个大小相同的子集，依次偏离这k个子集，每次把当前子集作为验证集，其余作为训练集，最后将k次指标进行平均作为最终结果
- 留1验证：每次留下一个样本作为验证集，其余用于训练，遍历n次，将n次评估结果的均值作为最终评估指标。当样本总数太大的话，需要遍历次数很多，时间开销大。
-
自助法
- 上面两种方法都是基于划分训练集和测试集进行模型训练和评估的。但是当样本集较小时，将样本集进行划分会进一步导致训练集进一步减小，影响模型的效果，
- 自助法是基于自主采样的方法。对于总数为n的样本集，进行n次有放回的随机采样，从而得到大小为n的训练集。n次采样过程中有的样本会重复进行采样，有的样本未被采样，将这些未被采样过的样本作为测试集用于模型验证。
🤔 自助法中，对n个样本进行n次采样，当n趋于无穷大时，最终有多少数据未被选择过？
一个样本在一次抽样中被采样到的概率为 1 n \frac{1}{n} n1，未被采样到的概率为 1 − 1 n 1-\frac{1}{n} 1−n1，n次抽样均未被抽到的概率为 ( 1 − 1 n ) n (1-\frac{1}{n})^n (1−n1)n，当n趋于无穷大时，概率为 lim n → ∞ ( 1 − 1 n ) n \lim\limits_{n\rightarrow\infty} (1-\frac{1}{n})^n n→∞lim(1−n1)n
我们知道 lim n → ∞ ( 1 + 1 n ) n = e \lim\limits_{n\rightarrow\infty} (1+\frac{1}{n})^n = e n→∞lim(1+n1)n=e
lim n → ∞ ( 1 − 1 n ) n = lim n → ∞ 1 ( 1 + 1 n − 1 ) n = lim n → ∞ 1 ( 1 + 1 n − 1 ) n − 1 ⋅ lim n → ∞ 1 ( 1 + 1 n − 1 ) = 1 e \lim\limits_{n\rightarrow\infty} (1-\frac{1}{n})^n = \lim\limits_{n\rightarrow\infty} \frac{1}{(1+\frac{1}{n-1})^n} = \lim\limits_{n\rightarrow\infty} \frac{1}{(1+\frac{1}{n-1})^{n-1}} · \lim\limits_{n\rightarrow\infty} \frac{1}{(1+\frac{1}{n-1})} = \frac{1}{e} n→∞lim(1−n1)n=n→∞lim(1+n−11)n1=n→∞lim(1+n−11)n−11⋅n→∞lim(1+n−11)1=e1
当n很大时，大约有1/e的样本未被采样过，也就是36.8%的样本可以作为验证集。
欢迎关注微信公众号（算法工程师面试那些事儿)，本公众号聚焦于算法工程师面试，期待和大家一起刷leecode，刷机器学习、深度学习面试题等，共勉～
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
