机器学习25：《数据准备和特征工程-III》采样和分隔

目录

1.采样和分割数据

1.1 抽样简介

1.2 过滤 PII（个人身份信息）

2.数据不平衡

2.1 下采样和增加权重

3.数据分割示例

3.1 随机分割可能不是最好的方法

4.分割数据

5.随机化

5.1 实际考虑

5.2 散列的注意事项

6.参考文献

---

1.采样和分割数据-Sampling and Splitting Data

1.1 采样简介

为机器学习项目收集足够的数据通常很困难。然而，有时数据太多，我们必须选择示例子集进行训练。那么，如何选择子集？以 Google 搜索为例，以什么粒度对大量数据进行采样？你会使用随机查询吗？随机会话？随机用户？

最终，答案取决于问题：我们想要预测什么，我们想要什么特征？

• 要使用上一个查询的特征，需要在会话级别进行采样，因为会话包含一系列查询。
• 要使用前几天的用户行为特征，则需要在用户级别进行采样。