DAY 8 标签编码与连续变量处理

知识点复盘:

  • 字典的简单介绍(增删查改)
  • 标签编码(字典的映射)
  • 对独热编码的深入理解----n个不相关变量只有n-1个自由的
  • 连续特征的处理:归一化和标准化----一般选一个即可,谁好谁坏做了才知道,除非有先验知识。

至此,常见的预处理方式都说完了

作业:对心脏病数据集的特征用上述知识完成,一次性用所有的处理方式完成预处理,包括

  1. 缺失值的处理
  2. 离散特征的编码
  3. 连续特征的归一化or标准化
  4. 数据可视化(单特征、单特征与标签)
    import pandas as pd
    import seaborn as sns
    import matplotlib.pyplot as plt
    # 设置全局字体为支持中文的字体 (例如 SimHei)
    plt.rcParams['font.sans-serif'] = ['SimHei']
    # 解决负号'-'显示为方块的问题
    plt.rcParams['axes.unicode_minus'] = False
    import warnings
    warnings.filterwarnings('ignore')
    from sklearn.preprocessing import StandardScaler, MinMaxScaler
    # 导入心脏病数据,查看数据信息
    data = pd.read_csv('heart.csv')
    print(data.info())
    # --- 任务 1: 缺失值和重复值处理 ---
    print("1.1缺失值处理")
    #缺失值检查处理
    print(data.isnull().sum())
    #重复值检查处理
    print("1.2重复值处理")
    data_duplicated=data.duplicated().sum()
    print(f"数据集中重复值的数量: {data_duplicated}")
    print(f"重复行数量: {data_duplicated}")
    print(f"处理前形状: {data.shape}")
    data.drop_duplicates(inplace=True) # 原地删除重复行
    print(f"处理后形状: {data.shape}")
    # --- 任务 2: 离散特征的编码 ---
    continuous_features = ['age', 'trestbps', 'chol', 'thalach', 'oldpeak']
    discrete_features = ['sex', 'cp', 'fbs', 'restecg', 'exang', 'slope', 'ca', 'thal']
    #此数据集中的离散特征已经进行过处理了因此不需要再进行独热编码
    # --- 任务 3: 连续特征的归一化 or 标准化 ---
    # 这里我们选择标准化 (Standardization / Z-score Normalization)
    print("--- 3.1 对连续特征进行标准化处理 ---")
    scaler = StandardScaler() # 实例化 StandardScaler
    data[continuous_features] = scaler.fit_transform(data[continuous_features])
    print("标准化处理完成。查看处理后的连续特征:")
    print(data[continuous_features].head())
    print("\n--- 查看最终完整处理后的数据 ---")
    print(data.head())

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值