本文介绍了以决策树模型为核心的大数据分析过程，包括数据描述性统计、预处理（如处理缺失值）、探索性数据分析、特征工程（编码处理）、模型准备、数据拆分、模型建立与评估以及特征重要性排序和预测应用。
今天以决策树模型为例复习一下基本的大数据分析步骤：
- 数据的描述性统计，包括数值型和非数值型数据 data.describe()
- 数据预处理，一般是缺失值情况
- 探索性数据分析，可以根据某列数据进行分组后，计算其对应的目标值的平均值。data.groupby('College')['Base Pay'].mean().plot(kind='bar')
- 特征工程，对非数值型数据进行编码处理。
- 构建模型
- 准备数据，X = data.drop('Base Pay',axis=1)#特征量组(包含了除了 'Base Pay' 列之外的所有其他列) y = data['Base Pay']#目标组
- 划分数据集 首先拆分数据集为测试集和训练集 X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)
- 建立多个模型，利用模型评估函数（通用）进行对比
- 对特征的重要性进行排序
- 利用模型预测
扫一扫
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
