CDA level 1 Part3 概念总结

1. 一手数据的优点：相关性强，准确度高，理解准确。
2. 二手数据的优点：成本低，时间短，清洗工作少。
3. 市场调研：提出问题，调查收集资料，分析预测问题。
4. 数据编码类型：数值变量，自负变量，二分变量，分类变量。
5. 概率抽样可以避免主观带来的谬误，但是由于经费，时间，保密等原因，不会使用。
6. 概率抽样分为：简单随机抽样、分层抽样、系统抽样、多阶段抽样。
7. 非概率抽样分为：方便抽样、判断抽样、配额抽样。
8. 数据预处理的基本步骤：数据集成（去重）、数据探索（观看均值、中位值、众数、极差、方差、分位数等等）、数据交换（数据去量纲、标准化、Z-score、最大最小值标准化、小数定标法）、数据归约（维度规约-主成分分析和变量聚类分析、数据归约）。
9. 数值规约一般用于有参数法（即线性回归，多元回归）、无参数法（即用模型的方式取存储数据）。
10. 对于缺失值处理一般分为：常数法，中位数或者众数，随机数方法，模型法。
11. 对于单一变量，我们可以通过均值、分位数、对称分布的经验法则和切比雪夫不等式判断
12. 对于2个或者以上的变量组合，可以采用聚类分析或者散点图进行检查。