Anacoda&Jupyter DAY 03 处理丢失数据&pandas层次化索引&pandas拼接操作

Anacoda&Jupyter DAY 03 重点知识总结 处理丢失数据&pandas层次化索引&pandas拼接操作

一 处理丢失数据

一共有两种丢失数据:
None
np.nan(NaN)

1. None
   None是python自带的 其类型为python object 因此 None不能参与到任何计算当中
   object类型的运算会比int类型的运算会慢很多
2. np.nan(NaN)
   np.nan是浮点类型 能参与到计算中 但是参与到计算中的结果总是为nan
   我们可以使用 np.nan* 函数方法来计算nan 此时nan会被跳过计算(注意 这里的nan不能说被看作是0 因为如果看作是0 那么求得的平均数将会不准确 根据尝试可知 此函数使用的方法中 并不是将nan看作是0 而是直接掠过nan的这样项)
3. pandas中的None和NaN
   1. pandas中的None和np.nan 都被视作为np.nan
      当我们创建表格 对某一个值进行更改为None或者nan的时候 打印出来的类型都为float
      但是 如果我们设定表格的时候使用的dtype是object 那么显示出来的就会不一样 None和NaN 就会分别显示开 (虽然如此 我们一般来说都不会刻意去使用dtype = object)
   2. pandas中None和np.nan 的操作
      isnull() 判断是否为nan 如果是 返回的是True
      notnull() 判断是否为nan 如果不是 返回的是True
      dropna() : 过滤丢失的数据
      fillna() : 填充丢失的数据
      1. df.isnull().any()
         df.notnull().all()
         any: 有true则为true 类似于or
         all: 所有的都为True才为True 类似于and
         该代码的输出为 每一列 对应布尔类型
      2. 过滤函数 dropna()
         可以过滤行和列 (默认的是行)
         1. df.dropna() # 默认删除有nan的行
            df.dropna(axis = 1) 删除有空的列
         2. 可以选择过滤模式 how = ‘all’ : 所有的值都为nan 才会删除这一行
            how = ‘any’ : 只要有一个为nan 那么就会删掉这一行或者这一列
      3. 填充函数 fillna()