数据的预处理

  机器学习算法无法理解原始数据,所以需对原始数据进行预处理,常用预处理如下:

  预处理主要使用了preprocessing包,所以需对该包进行导入:

import numpy as np
from sklearn import preprocessing
data=np.array([
        [3,-1.5,2,-5.4],
        [0,4,-0.3,2.1],
        [1,3.3,-1.9,-4.3]
        ])

  1.均值移除(Mean removal) 

#将特征数据的分布调整成标准正太分布,也叫高斯分布,
#也就是使得数据的均值维0,方差为1.标准化是针对每一列而言的
#方法一
data_standardized=preprocessing.scale(data)
print('Mean=',data_standardized.mean(axis=0))#特征均值几乎为0
print('Std=',data_standardized.std(axis=0))#标准差为1
#方法二
scaler=preprocessing.StandardScaler().fit(data)
print('Mean=',scaler.transform(data).mean(axis=0))#特征均值几乎为0
print('Std=',scaler.transform(data).std(axis=0))#标准差为1

  2.范围缩放(Scaling)

#为了对付那些标准差相当小的特征并且保留下稀疏数据中的0值
#方法一:计算公式如下:
#X_std = (X - X.min(axis=0)) / (X.max(axis=0) - X.min(axis=0))
#X_scaled = X_std / (max - min) + min
data_minmax_scaler = preprocessing.MinMaxScaler(feature_range=(0, 1))
data_scaled = data_minmax_scaler.fit_transform(data)
print("Min max scaled data:", data_scaled)
#方法二:特征中绝对值最大的那个数为1,其他数以此维标准分布在[[-1,1]之间
max_abs_scaler = preprocessing.MaxAbsScaler()
x_train_maxsbs = max_abs_scaler.fit_transform(data)
print("Max abs scaled data:", x_train_maxsbs)

  3.归一化(Normalization)

# 正则化:保证每个特征向量的值都缩放到相同的数值范围内,
#提高不同特征特征数据的可比性,如数据有许多异常值可使用此方法
#方法一:第二个参数可谓l1与l2,最常用为调整到l1范数,使所有特征向量之和为1
data_normalized = preprocessing.normalize(data, norm='l1')
print("\nL1 normalized data:\n", data_normalized)
#方法二:
normalizer = preprocessing.Normalizer(copy=True, norm='l2').fit(data)#创建正则器
normalizer.transform(data)

       4.二值化(Binarization)

# 将数值型的特征数据转换成布尔类型的值
# 方法一
data_binarized = preprocessing.Binarizer(threshold=1.4).transform(data)#比1.4大的为1,小的为0
print("\nBinarized data:\n", data_binarized)
#方法二:
binarizer = preprocessing.Binarizer(threshold=0)
print("\nBinarized data:\n", binarizer.transform(data)) 

  5.独热编码(One-Hot Encoding)

# http://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder.html
encoder = preprocessing.OneHotEncoder()
encoder.fit([[0, 2, 1, 12], [1, 3, 5, 3], [2, 3, 2, 12], [1, 2, 4, 3]])
encoded_vector = encoder.transform([[2, 3, 5, 3]]).toarray()
print("Encoded vector:", encoded_vector)
print("_values_:", encoder.n_values_)#值的每个特征的最大数量。
print("Encoded vector:", encoder.feature_indices_)

  6.弥补缺失值

#
imp = preprocessing.Imputer(missing_values='NaN', axis=0)#NaN可换成其他
imp.fit([[1, 2], [np.nan, 3], [7, 6]])
x = [[np.nan, 2], [6, np.nan], [7, 6]]
print(imp.transform(x))#填入(1+7)/2和(2+3+6)/3

  7.生成多项式的特征

# 生成多项式的特征,得到高阶相互作用特征
poly = preprocessing.PolynomialFeatures(2)# 创建2次方的多项式
print(poly.fit_transform(data))

  8.定制变压器

#定制变压器:辅助数据清洗或处理
transformer = preprocessing.FunctionTransformer(np.log1p)
print(transformer.transform(np.array([[0, 1], [2, 3]])))

 

参考文献:http://blog.csdn.net/sinat_33761963/article/details/53433799

     http://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder.html

     http://scikit-learn.org/stable/modules/preprocessing.html#preprocessing

     Python机器学习经典实例

转载于:https://www.cnblogs.com/NSGUF/p/7861504.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值