python日记Day16——Pandas之数据特征分析

python日记——Pandas之数据特征分析

• Pandas库的数据排序
  1、.sort_index()方法在指定轴上根据索引进行排序，默认升序：
  .sort_index(axis=0, ascending=True)
  2、.sort_values()方法在指定轴上根据数值进行排序，默认升序：
  Series.sort_values(axis=0, ascending=True)
  DataFrame.sort_values(by（axis轴上的某个索引或索引列表）, axis=0, ascending=True)
  3、NaN统一放到排序末尾

• merge操作
  1、merge是合并数据集的操作
  2、merge参数一览表：
  
  3、通过pd.merge()方法设置连接字段，默认参数how是inner内连接，并且会按照相同的字段key进行合并，即等价于on=‘key’。
  4、pd.merge()方法设置连接方法。
  主要包括inner（内连接）、outer（外链接）、left（左连接）、right（右连接）。参数how采用outer外连接时，会取并集，并用NaN填充。

• apply自定义函数操作
  pandas 的 apply() 函数可以作用于 Series 或者整个 DataFrame，功能也是自动遍历整个 Series 或者 DataFrame, 对每一个元素运行指定的函数

• 数据透视表
  1、透视表是一种可以对数据动态排布并且分类汇总的表格格式。或许大多数人都在Excel使用过数据透视表，也体会到它的强大功能，而在pandas中它被称作pivot_table。
  2、pivot_table有四个最重要的参数index、columns、values、aggfunc
  3、index就是层次字段，要通过透视表获取什么信息就按照相应的顺序设置字段，values可以对需要的计算数据进行筛选，aggfunc参数可以设置我们对数据聚合时进行的函数操作（默认aggfunc=‘mean’，计算均值），columns类似index可以设置列层次字段，它不是一个必要参数，作为一种分割数据的可选方式。
  4、调用方式：df.pivot_table()

• 数据的基本统计分析
  1、 df.groupby()：对数据进行分组
  
  2、基本的统计分析函数
  适用于Series和DataFrame：
  
  适用于Series：
  适用于Series和DataFrame：
  .describe()函数可以一次性产生几乎所有的统计分析值

• 数据的累计统计分析
  1、累计统计分析函数：
  适用于Series和DataFrame类型，累计计算：
  
  适用于Series和DataFrame类型，滚动计算（窗口计算）：
  
  

• 数据的相关分析
  1、两个事务的相关性：正相关、负相关、不相关
  2、常用协方差判断相关性：协方差>0为正相关，协方差<0为负相关，协方差=0为独立不相关
  3、相关分析函数：
  适用于Series和DataFrame类型：
  
  

• .value_counts()
  在pandas里面常用value_counts确认数据出现的频率：
  
  
  
  

本文内容参考于北京理工大学嵩天老师相关课程