在数据集划分时，选择随机抽样或分层抽样至关重要。当数据量足够大时，随机抽样通常可行，但若数据集小，可能导致样本偏差。以性别分层的抽样调查为例，应保持与总体相似的比例以避免结果偏差。sklearn的train_test_split提供了stratify参数实现分层抽样，确保关键特征在训练集和测试集中分布一致，提高模型预测准确性。
https://zhuanlan.zhihu.com/p/49991313
在将样本数据分成训练集和测试集的时候，应当谨慎地考虑一下是采用纯随机抽样，还是分层抽样。
通常，数据集如果足够大，纯随机抽样的方式，将样本数据分成两个子集是没有太大的问题。
如果不是，纯随机抽样肯可能会导致抽样数据偏差，影响训练效果，降低预测模型预测的准确性。
设想调查公司需要做1000份抽样调查，调查的问题和性别可能有较大的相关性。如果想让调查结果代表全国男性和女性对这些问题的看法，假设全国人口男女比例大致为60：40，那么在1000份问卷也应当尽量保持男女比例达到同样的比例，即参加问卷调查的男女数差不多是600和400。
这个就是分层抽样。
如果参加问卷的男女数比例很不一样，比如女性占到了60%或更多，那么调查结伦就会出现重大偏差。
使用sklearn.model_selection.train_test_split，参数stratify即用来指定按照某一特征进行分层抽样，生成训练集和测试集。
看一下随机抽样和分层抽样时，按照某一特征的取值，在训练集的占比情况。
income_count = housing['income_cat'].value_counts
最低0.47元/天 解锁文章
609
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
