数据预处理

一：数据预处理

1、无量纲化

1.1、数据归一化

• preprocessing.MinMaxScaler
• Normalization Min-Max Scaling 归一化 把数据压缩到某一范围 默认为0-1
• regularization 正则化

from sklearn.preprocessing import MinMaxScaler

data = [[1,2],[2,4],[3,2],[4,3]]

scaler = MinMaxScaler()   # 实例化
scaler = scaler.fit(data)  # 本质生成min() max()    scaler.fit_transfrom()
result = scaler.transform(data)  # 通过接口导出结果
result

scaler.inverse_transform(result) # 将归一化后的数据逆转

# 使用MinMaxScaler的参数feature_range实现将数据归一化到[0,1]以外的范围

data = [[1,2],[2,4],[3,2],[4,3]]
scaler = MinMaxScaler(feature_range=[5,10])
result = scaler.fit_transform(data)
result

• 当X中的特征数量非常多的时候，fit会报错，表示数据量太大计算不了
• 此时用partial_fit作为训练的接口
• scaler = scaler.partial_fit(data)

1.2、数据标准化 （一般选用标准化）

• preprocessing.StandardScaler
• Standardization (Z-score normalization) 标准化

from sklearn.preprocessing import StandardScaler

data = [[1,2],[2,4],[3,2],[4,3]]

scaler = StandardScaler()
scaler = scaler.fit(data)  # 本质是生成均值和方差
result = scaler.transform(data)
result

print(scaler.mean_)  # 查看均值
print(scaler.var_)  # 查看方差

print(result.mean())   # result的均值方差
print(result.std())

scaler.inverse_transform(result)  # 标准化后的数据逆转

1.3、其他无量纲化方式

• MaxAbsScaler
• RobustScaler
• …

2、缺失值处理

import pandas as pd

data = pd.read_csv(r"F:\计算机学习资料\机器学习b站菜菜\【机器学习】菜菜的sklearn课堂(1-12全课)\03数据预处理和特征工程\Narrativedata.csv"
                  ,index_col=0)  # 将第0列作为索引
data.head()

data.info()  # 查看数据信息

2.1、impute.SimpleImputer填补缺失值

• class sklearn.impute.SimpleImputer (missing_values=nan, strategy=’mean’, fill_value=None, verbose=0,copy=True)
• missing_values 告诉SimpleImputer，数据中的缺失值长什么样，默认空值np.nan
• strategy 默认均值填补
  • 输入“mean”使用均值填补（仅对数值型特征可用）
  • 输入“median"用中值填补（仅对数值型特征可用）
  • 输入"most_frequent”用众数填补（对数值型和字符型特征都可用）
  • 输入“constant"表示请参考参数“fill_value"中的值（对数值型和字符型特征都可用）
• fill_value 当参数startegy为”constant"的时候可用，可输入字符串或数字表示要填充的值，常用0
• copy 默认为True，将创建特征矩阵的副本，反之则会将缺失值填补到原本的特征矩阵中去

# 填补Age缺失的数据
Age = data.loc[:,"Age"].values.reshape(-1,1) # pandas里面的Serise数据，一列索引与一列值  reshape升维

from sklearn.impute import SimpleImputer

imp_mean = SimpleImputer()  # 实例化，默认均值填补
imp_median = SimpleImputer(strategy="median")  # 中位数填补
imp_0 = SimpleImputer(strategy="constant",fill_value=0)  # 0填补

imp_mean = imp_mean.fit_transform(Age)
imp_median = imp_median.fit_transform(Age)
imp_0 = imp_0.fit_transform(Age)

print(imp_mean[:6],'\n','*'*20,'\n',imp_median[:6],'\n','*'*20,'\n',imp_0[:6])

# 上面的过程中位数和均值差不多 均值还带小数 这里采用中位数填补

data.loc[:,"Age"] = imp_median
data.info()

# 使用众数来填补Embarked

Embarked = data.loc[:,"Embarked"].values.reshape(-1,1)
imp_mode = SimpleImputer(strategy="most_frequent")
data.loc[:,"Embarked"] = imp_mode.fit_transform(Embarked)

data.info()

2.2、利用pandas来处理缺失数据

import pandas as pd

data_ = pd.read_csv(r"F:\计算机学习资料\机器学习b站菜菜\【机器学习】菜菜的sklearn课堂(1-12全课)\03数据预处理和特征工程\Narrativedata.csv"
                  ,index_col=0)
# .fillna 在DataFrame里进行填补
data_.loc[:,"Age"] = data_.loc[:,"Age"].fillna(data_.loc[:,"Age"].median())

data_.dropna(axis=0,inplace=True)

data_.info()

3、处理分类型特征：编码与哑变量

3.1、preprocessing.LabelEncoder : 标签专用，能够将分类转化为分类型数值

from sklearn.preprocessing import LabelEncoder
import pandas as pd

y = data.iloc[:,-1]  # 要输入的是标签，不是特征矩阵，允许一维

le = LabelEncoder()  # 实例化
le = le.fit(y)      # 导入数据
label = le.transform(y)   # transform接口调取结果
label      # data.head() 只查看了前5行 不代表只有yes no 所以编码不是0、1

print(le.classes_)  # 属性.classes_ 查看标签中究竟有多少类别
                    # le.fit_transform(y)   一步到位
                    # le.inverse_transform(label)   使用inverse_transform逆转得到原分类

data.iloc[:,-1] = label  # 将标签换成编码数值
data.head()

# 一步到位
from sklearn.preprocessing import LabelEncoder
data.iloc[:,-1] = LabelEncoder().fit_transform(data.iloc[:,-1])

3.2、preprocessing.OrdinalEncoder ：特征专用，能够将分类特征转换为分类数值 (不能是一维数组)

from sklearn.preprocessing import OrdinalEncoder
data_ = data.copy()
data_.head()

• 特征专用里面的categories_与标签专用里面的classes_用法一样 返回分类数量
• 进行编码的数据不能包含空值

OrdinalEncoder().fit(data_.iloc[:,1:-1]).categories_

data_.iloc[:,1:-1] = OrdinalEncoder().fit_transform(data_.iloc[:,1:-1])
data_.head()

3.3、preprocessing.OneHotEncoder : 独热编码，创建哑变量

from sklearn.preprocessing import OneHotEncoder
x = data.iloc[:,1:-1]

enc = OneHotEncoder(categories='auto').fit(x)
result = enc.transform(x).toarray()     # toarray()  转化为array数据
result

# 将编码还原为原类别
enc.inverse_transform(result)

# 将编码后的数据接在原数据的后面
newdata = pd.concat([data,pd.DataFrame(result)],axis=1)
newdata.drop(["Sex","Embarked"],axis=1,inplace=True)
newdata.columns = ["Age","Survived","Female","Male","Embarked_C","Embarked_Q","Embarked_S"]
newdata.head()

4、处理连续型特征：二值化与分段

4.1、preprocessing.Binarizer

• 根据阈值将数据二值化（将特征值设置为0或1），用于处理连续型变量。大于阈值的值映射为1，而小于或等于阈值的值映射为0。默认阈值为0时，特征中所有的正值都映射到1。
• 二值化是对文本计数数据的常见操作，分析人员可以决定仅考虑某种现象的存在与否。它还可以用作考虑布尔随机变量的估计器的预处理步骤（例如，使用贝叶斯设置中的伯努利分布建模）

# 年龄二值化处理
data_b = newdata.copy()
x= data_b.iloc[:,0].values.reshape(-1,1)    # 特征专用，不能使用一维数组

from sklearn.preprocessing import Binarizer

transformer = Binarizer(threshold=30).fit_transform(x)
data_b.iloc[:,0] = transformer
data_b.head()

4.2、preprocessing.KBinsDiscretizer

• 这是将连续型变量划分为分类变量的类，能够将连续型变量排序后按顺序分箱后编码。总共包含三个重要参数：
• n_bins : 每个特征中分箱的个数，默认5，一次会被运用到所有导入的特征
• encode : 编码的方式，默认“onehot”
• “onehot”：做哑变量，之后返回一个稀疏矩阵，每一列是一个特征中的一个类别，含有该类别的样本表示为1，不含的表示为0
• “ordinal”：每个特征的每个箱都被编码为一个整数，返回每一列是一个特征，每个特征下含有不同整数编码的箱的矩阵
• “onehot-dense”：做哑变量，之后返回一个密集数组
• strategy : 用来定义箱宽的方式
• 默认"quantile"“uniform”：表示等宽分箱，即每个特征中的每个箱的最大值之间的差为(特征.max() - 特征.min())/(n_bins)
• “quantile”：表示等位分箱，即每个特征中的每个箱内的样本数量都相同
• “kmeans”：表示按聚类分箱，每个箱中的值到最近的一维k均值聚类的簇心得距离都相同

x = newdata.iloc[:,0].values.reshape(-1,1)
from sklearn.preprocessing import KBinsDiscretizer

est = KBinsDiscretizer(n_bins=3,encode='ordinal',strategy='uniform')
est.fit_transform(x)

• ravel() array中压缩数据的方式
• set() 集合 把数据放到里面，有重复的给去掉

# 查看转换后的箱：年龄一列变成了三箱
set(est.fit_transform(x).ravel())

# 分三箱，返回3特征的独热编码
est = KBinsDiscretizer(n_bins=3,encode='onehot',strategy='uniform')
est.fit_transform(x).toarray()