动手学数据分析——task02

查看各特征值的缺失值情况：

data.isnull().sum()

查看特定列的数值：

df[['Age','Cabin','Embarked']].head(3)

# 取出列号为5/10/11
df.iloc[:,[5,10,11]]

df['w']  #选择表格中的'w'列，使用类字典属性,返回的是Series类型
 
df.w    #选择表格中的'w'列，使用点属性,返回的是Series类型
 
df[['w']]  #选择表格中的'w'列，返回的是DataFrame属性
 
 
data[0:2]  #返回第1行到第2行的所有行，前闭后开，包括前不包括后
 
data[1:2]  #返回第2行，从0计，返回的是单行，通过有前后值的索引形式，
       #如果采用data[1]则报错
 
 
data.iloc[-1]   #选取DataFrame最后一行，返回的是Series
data.iloc[-1:]   #选取DataFrame最后一行，返回的是DataFrame

原文链接：https://blog.csdn.net/m0_37876745/article/details/88828928

处理缺失值

dropna()函数：

删除缺失值DataFrame.dropna( axis = 0 , how = 'any' , thresh = None , subset = None , inplace = False )

 

参数：

axis:

{0 或 'index', 1 或 'columns'}，默认为 0;确定是否删除包含缺失值的行或列。

• 0 或 'index' ：删除包含缺失值的行。

• 1 或 'columns' ：删除包含缺失值的列。

在 1.0.0 版更改：传递元组或列表以放置在多个轴上。只允许一个轴。

how:

{“任何”，“所有”}，默认的“任意”

当我们至少有一个 NA 或所有 NA 时，确定是否从 DataFrame 中删除了行或列。

• 'any' ：如果存在任何 NA 值，则删除该行或列。

• 'all' ：如果所有值都是 NA，则删除该行或列。

thresh:

 int，可选,需要许多非 NA 值。

类似子集数组，可选沿其他轴的标签要考虑，例如，如果您要删除行，这些将是要包含的列列表。

subset:

布尔值，默认为 False.如果为 True，就地执行操作并返回 None。

inplace:

数据帧或无,带有 NA 条目的 DataFrame 从中删除或 None 如果inplace=True。

fillna()函数：

使用指定的方法填充 NA/NaN 值

DataFrame.fillna( value = None , method = None , axis = None , inplace = False , limit = None , downcast = None )

value	标量、字典、系列或数据帧 用于填充空洞的值（例如 0），或者指定用于每个索引（对于系列）或列（对于数据帧）的值的 dict/Series/DataFrame 值。不在 dict/Series/DataFrame 中的值将不会被填充。此值不能是列表。
method	{'backfill', 'bfill', 'pad', 'ffill', None}，默认 None 用于填充重新索引系列焊盘/填充中的孔的方法：将最后一个有效观察向前传播到下一个有效回填/bfill：使用下一个有效观察来填充间隙。
axis	{0 或“索引”，1 或“列”} 填充缺失值的轴。
inplace	布尔值，默认为 False 如果为 True，则就地填充。注意：这将修改此对象上的任何其他视图（例如，DataFrame 中列的非复制切片）。
limit	整数，默认无 如果指定了方法，则这是要向前/向后填充的连续 NaN 值的最大数量。换句话说，如果有超过这个连续 NaN 数量的缺口，它只会被部分填充。如果未指定方法，则这是沿整个轴将填充 NaN 的最大条目数。如果不是 None，则必须大于 0。
downcast	dict，默认为无 如果可能的话要向下转换的 item->dtype 的字典，或者字符串 'infer' 将尝试向下转换为适当的相等类型（例如，如果可能的话，float64 到 int64）。

df[df['Age']==None]=0
df[df['Age'].isnull()] = 0
df[df['Age'] == np.nan] = 0

df.fillna(0)
df.dropna()

总结出删除行列有两种方式：

• labels = [],axis=0的组合
• index或columns直接指定要删除的行或列 

# 删除第2行和第3行
df3 = df.drop(labels=[0,1],axis=0)

# 删除列名为1990的列
df4 = df.drop(axis=1,columns=1990)

处理重复值

df.duplicated()  #对每一行做判断，有没有重复
any(df.duplicated())  #只要里面有一个重复的，就会返回True
df[df.duplicated()]   #把重复的行展示出来
df = df.drop_duplicates()

分箱处理

定义：Bin values into discrete intervals，是指将值划分到离散区间。好比不同大小的苹果归类到几个事先布置的箱子中；不同年龄的人划分到几个年龄段中。

cut()函数：

pandas.cut( x , bins , right = True , labels = None , retbins = False , precision = 3 , include_lowest = False , duplicates = 'raise' , ordered = True )

x	被切分的类数组数据，注意必须是1维
bins	简单理解为分箱规则，就是桶。int、标量序列或 IntervalIndex
right	表示是否包含区间的右边界，默认包含
labels	分割后的bins打标签
retbins	表示是否将分割后的bins返回，默认不返回。如为True

#将连续变量Age平均分箱成5个年龄段，并分别用类别变量12345表示
df['AgeBand'] = pd.cut(df['Age'], 5,labels = [1,2,3,4,5])

#将连续变量Age划分为[0,5) [5,15) [15,30) [30,50) [50,80)五个年龄段，并分别用类别变量12345表示
df['AgeBand'] = pd.cut(df['Age'],[0,5,15,30,50,80],labels = [1,2,3,4,5])

qcut函数():

 

基于分位数的离散化函数。根据等级或基于样本分位数将变量离散化为大小相等的桶

pandas.qcut( x , q ,labels= None , retbins = False , precision = 3 , duplicates = 'raise' ) 

x	被切分的类数组数据，注意必须是1维
q	分位数。10 表示十分位数，4 表示四分位数，等等。交替排列的分位数，例如 [0, .25, .5, .75, 1.] 表示四分位数。
labels	用作结果箱的标签。必须与生成的 bin 长度相同。如果为 False，则仅返回 bin 的整数指示符。如果为 True，则引发错误。
retbins	表示是否将分割后的bins返回，默认不返回。如为True
precision	存储和显示 bin 标签的精度
duplicates	{default 'raise', 'drop'}，可选 如果 bin 边缘不唯一，则引发 ValueError 或删除非唯一值

查看类别文本变量名及种类

value_counts

unique

df['Embarked'].value_counts()
df['Sex'].unique()

文本替换

replace

map

使用sklearn.preprocessing的LabelEncoder：

LabelEncode：将离散型的数据转换成 0 到 n − 1之间的数，这里 n 是一个列表的不同取值的个数，可以认为是某个特征的所有不同取值的个数
fit(y) ：fit可看做一本空字典，y可看作要塞到字典中的词。
fit_transform(y)：相当于先进行fit再进行transform，即把y塞到字典中去以后再进行transform得到索引值。
inverse_transform(y)：根据索引值y获得原始数据。
transform(y) ：将y转变成索引值。

df['Sex_num'] = df['Sex'].replace(['male','female'],[1,2])

df['Sex_num'] = df['Sex'].map({'male': 1, 'female': 2})

from sklearn.preprocessing import LabelEncoder
for feat in ['Cabin', 'Ticket']:
    lbl = LabelEncoder()  
    label_dict = dict(zip(df[feat].unique(), range(df[feat].nunique())))
    df[feat + "_labelEncode"] = df[feat].map(label_dict)
    df[feat + "_labelEncode"] = lbl.fit_transform(df[feat].astype(str))

类别文本转换为one-hot编码

• OneHotEncoder

  for feat in ["Age", "Embarked"]:
  #     x = pd.get_dummies(df["Age"] // 6)
  #     x = pd.get_dummies(pd.cut(df['Age'],5))
      x = pd.get_dummies(df[feat], prefix=feat)
      df = pd.concat([df, x], axis=1)
      #df[feat] = pd.get_dummies(df[feat], prefix=feat)

sklearn.preprocessing.OneHotEncoder（*，category ='auto'，drop=None，sparse=True，dtype=<class 'numpy.float64'>，handle_unknown='error' ）

将每一个分类特征变量的m个可能的取值转变成m个二值特征，对于每一条数据这m个值中仅有一个特征值为1，其他的都为0。