知识点复盘:
- 字典的简单介绍(增删查改)
- 标签编码(字典的映射)
- 对独热编码的深入理解----n个不相关变量只有n-1个自由的
- 连续特征的处理:归一化和标准化----一般选一个即可,谁好谁坏做了才知道,除非有先验知识。
至此,常见的预处理方式都说完了
作业:对心脏病数据集的特征用上述知识完成,一次性用所有的处理方式完成预处理,包括
- 缺失值的处理
- 离散特征的编码
- 连续特征的归一化or标准化
- 数据可视化(单特征、单特征与标签)
import pandas as pd import seaborn as sns import matplotlib.pyplot as plt # 设置全局字体为支持中文的字体 (例如 SimHei) plt.rcParams['font.sans-serif'] = ['SimHei'] # 解决负号'-'显示为方块的问题 plt.rcParams['axes.unicode_minus'] = False import warnings warnings.filterwarnings('ignore') from sklearn.preprocessing import StandardScaler, MinMaxScaler # 导入心脏病数据,查看数据信息 data = pd.read_csv('heart.csv') print(data.info()) # --- 任务 1: 缺失值和重复值处理 --- print("1.1缺失值处理") #缺失值检查处理 print(data.isnull().sum()) #重复值检查处理 print("1.2重复值处理") data_duplicated=data.duplicated().sum() print(f"数据集中重复值的数量: {data_duplicated}") print(f"重复行数量: {data_duplicated}") print(f"处理前形状: {data.shape}") data.drop_duplicates(inplace=True) # 原地删除重复行 print(f"处理后形状: {data.shape}") # --- 任务 2: 离散特征的编码 --- continuous_features = ['age', 'trestbps', 'chol', 'thalach', 'oldpeak'] discrete_features = ['sex', 'cp', 'fbs', 'restecg', 'exang', 'slope', 'ca', 'thal'] #此数据集中的离散特征已经进行过处理了因此不需要再进行独热编码 # --- 任务 3: 连续特征的归一化 or 标准化 --- # 这里我们选择标准化 (Standardization / Z-score Normalization) print("--- 3.1 对连续特征进行标准化处理 ---") scaler = StandardScaler() # 实例化 StandardScaler data[continuous_features] = scaler.fit_transform(data[continuous_features]) print("标准化处理完成。查看处理后的连续特征:") print(data[continuous_features].head()) print("\n--- 查看最终完整处理后的数据 ---") print(data.head())
781

被折叠的 条评论
为什么被折叠?



