- 一手数据的优点:相关性强,准确度高,理解准确。
- 二手数据的优点:成本低,时间短,清洗工作少。
- 市场调研:提出问题,调查收集资料,分析预测问题。
- 数据编码类型:数值变量,自负变量,二分变量,分类变量。
- 概率抽样可以避免主观带来的谬误,但是由于经费,时间,保密等原因,不会使用。
- 概率抽样分为:简单随机抽样、分层抽样、系统抽样、多阶段抽样。
- 非概率抽样分为:方便抽样、判断抽样、配额抽样。
- 数据预处理的基本步骤:数据集成(去重)、数据探索(观看均值、中位值、众数、极差、方差、分位数等等)、数据交换(数据去量纲、标准化、Z-score、最大最小值标准化、小数定标法)、数据归约(维度规约-主成分分析和变量聚类分析、数据归约)。
- 数值规约一般用于有参数法(即线性回归,多元回归)、无参数法(即用模型的方式取存储数据)。
- 对于缺失值处理一般分为:常数法,中位数或者众数,随机数方法,模型法。
- 对于单一变量,我们可以通过均值、分位数、对称分布的经验法则和切比雪夫不等式判断
- 对于2个或者以上的变量组合,可以采用聚类分析或者散点图进行检查。
CDA level 1 Part3 概念总结
最新推荐文章于 2023-05-15 01:56:10 发布