特征预处理
什么是特征预处理
通过特定的统计方法(数学方法)将数据转换成算法要求的数据
数值型数据转换方法:
- 标准缩放
- 归一化:觉得特征同等重要的时候使用归一化
- 缺失值
类别型数据:one-hot编码
时间类型:时间的切分
特征类处理的api
- sklearn.preprocessing
归一化
特点:通过对原始数据进行变换把数据映射到默认为[0,1]之间
公式:
注:作用于每一列,max为一列的最大值,min为一列的最小值,那么x’'为最终结果,mx,mi分别为指定区间值mx为1 mi为0
公式使用
特征1 | 特征2 | 特征3 | 特征4 |
---|---|---|---|
90 | 2 | 10 | 40 |
60 | 4 | 15 | 45 |
75 | 3 | 13 | 46 |
举第一个样本第一个例子为例:
x’=90-60/90-60=1
x’’=1*(1-0)+0=1
结果为1
通多这种方式将数值数据缩小到0-1之间
sklearn归一化api
sklearn归一化api:sklearn.preprocessing.MinMaxScaler
MinMaxScaler 语法
- MinMaxScaler(feature_range=(0,1)…)
- 每个特征缩放到给定范围默认(0,1)
- MinMaxScaler.fit_transform(X)
- X:numpy array格式的数据[n_samples,n_features]
- 返回值:转换后的形状相同的array
归一化步骤:
- 实例化MinMaxScaler
- 通过fit_transform转换
归一化代码实现
def guiyi():
mm=MinMaxScaler()
data=mm.fit_transform([[90,2,10,48],[60,4,15,45],[75,3,13,46]])
print(data)
运行结果
归一化:使得某个特征对最终结果不会造成更大影响
标准化
- 特点:通过对原始数据进行变换把数据变换到均值为0,方差为1范围内
- 公式x’=x-mean/@
- 注:作用于每一列,mean为平均值,@为标准差
var成为方差,var=(x1-mean)2+(x2-mean)2+(x3-mean)^2+…/n(每个特征样本数),@=根号下var
其中:方差(考量数据稳定性)
计算
特征1 | 特征2 | 特征3 | 特征4 |
---|---|---|---|
90 | 2 | 10 | 40 |
60 | 4 | 15 | 45 |
75 | 3 | 13 | 46 |
方差:数据集中方差小,数据散方差大
sklearn特征化API
sklearn特征化API:sklearn.processing.StandardScaler
StandardScaler语法
- StandardScaler(…)
- 处理之后每列来说所有数据都集中在均值0和1附近 标准差为1
- StandardScaler.fit_transform(X)
- X:numpy array格式的数据[n_samples,n_features]
- 返回值:转换后的形状相同的array
- StandardScaler.mean_
- 原始数据中每列特征的平均值
- StandardScaler.std_
- 原始数据每列特征的方差
代码
from sklearn.feature_extraction import DictVectorizer
from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer
from sklearn.preprocessing import MinMaxScaler,StandardScaler
import jieba
def dictvet():
# mydict=DictVectorizer(sparse=False)
# # 调用fit_transform
# data=mydict.fit_transform([{'city':'上海','temp':37},{'city':'北京','temp':39},{'city':'深圳','temp':38}])
# print(data)
# print(mydict.get_feature_names())
cv=CountVectorizer()
data=cv.fit_transform(["人生苦短,我用python","人生苦短,我用java","人生漫长,我不用python"])
print(cv.get_feature_names())
print(data.toarray())
return None
def tfidfvet():
word1="君子在下位则多谤,在上位则多誉;小人在下位则多誉,在上位则多谤。"
word2="你若要喜爱你自己的价值,你就得给世界创造价值。"
word3="如果我们想交朋友,就要先为别人做些事——那些需要花时间、体力、体贴、奉献才能做到的事"
list_1=list(jieba.cut(word1))
list_2=list(jieba.cut(word2))
list_3=list(jieba.cut(word3))
jieba_1=" ".join(list_1)
jieba_2=" ".join(list_2)
jieba_3=" ".join(list_3)
cv=TfidfVectorizer()
data=cv.fit_transform([jieba_1,jieba_2,jieba_3])
print(cv.get_feature_names())
print(data.toarray())
def guiyi():
mm=MinMaxScaler()
data=mm.fit_transform([[90,2,10,48],[60,4,15,45],[75,3,13,46]])
print(data)
return None
def Biaozhunsuofang():
std=StandardScaler()
data=std.fit_transform([[1,4,3],[2,5,3],[4,1,3]])
print(data)
return None
def main():
# dictvet()
# tfidfvet()
# guiyi()
Biaozhunsuofang()
if __name__ == '__main__':
main()
运行结果:
缺失值处理
思想:
- 删除 一般不建议
- 填补 差补平均值,中位数 按照每行每列填补 ,一般按照特征处理
缺失值处理lmputer语法
- lmputer(missing_values=‘NaN’,strategy=‘mean’,axis=0)
- 完成缺失值插补
- lmputer.fit_transform(X)
- X:numpy array格式的数据[n_ssamples,n_features]
- 返回值:转换后的形状相同的array
填补缺失值:sklearn.preprocessing.Imputer(missing_values=’NaN’, strategy=’mean’, axis=0, verbose=0, copy=True)
主要参数说明:
missing_values:缺失值,可以为整数或NaN(缺失值numpy.nan用字符串‘NaN’表示),默认为NaN
strategy:替换策略,字符串,默认用均值‘mean’替换
①若为mean时,用特征列的均值替换
②若为median时,用特征列的中位数替换
③若为most_frequent时,用特征列的众数替换
axis:指定轴数,默认axis=0代表列,axis=1代表行
copy:设置为True代表不在原数据集上修改,设置为False时,就地修改,存在如下情况时,即使设置为False时,也不会就地修改
①X不是浮点值数组
②X是稀疏且missing_values=0
③axis=0且X为CRS矩阵
④axis=1且X为CSC矩阵
statistics_属性:axis设置为0时,每个特征的填充值数组,axis=1时,报没有该属性错误
以X为数组为例: