目录
1 Pandas介绍
Pandas是Python第三方库,提供高性能易用数据类型和分析工具。
Pandas基于Numpy实现,常与Numpy和Matplotlib一同使用。
Pandas的引用:
import pandas as pd
Pandas库的理解:
Numpy | Pandas |
---|---|
基础数据类型 | 扩展数据类型 |
关注数据的结构表达 | 关注数据的应用表达 |
维度:数据间关系 | 数据与索引间关系 |
2 Pandas库的Series类型
Series类型由一组数据及与之相关的数据索引组成。
Series类型可以由如下类型创建:
-
Python列表,index与列表元素个数一致。
-
标量值,index表达Series类型的尺寸。
-
Python字典,键值对中的“键”是索引,index从字典中进行选择操作。
-
ndarray,索引和数据都可以通过ndarray类型创建。
-
其他函数,range()函数
Series类型的基本操作:
-
Series类型包括index和values两部分。
-
Series类型的操作类似ndarray类型。
- 索引方法相同,采用[]。
- Numpy中运算和操作可用于Series类型。
- 可以通过自定义索引的列表进行切片。
- 可以通过自动索引进行切片,如果存在自定义索引,则一同被切片。
-
Series类型的操作类似Python字典类型。
- 通过自定义索引访问
- 保留字in操作
- 使用.get()方法
Series类型对齐操作:
Series类型的name属性:
Series对象和索引都可以有一个名字,存储在属性.name中。
Series类型的修改:
Series对象可以随时修改并即刻生效
3 Pandas库的DataFrame类型
DataFrame类型由共用相同索引的一组列组成。
- DataFrame是一个表格型的数据类型,每列值类型可以不同。
- DataFrame既有行索引、也有列索引。
- DataFrame常用于表达二维数据,但可以表达多维数据。
DataFrame类型可以由如下类型创建:
- 二维ndarray对象
- 从一维ndarray对象字典创建
- 从列表类型的字典创建
- Series类型
- 其他的DataFrame类型
4 Pandas库的数据类型操作
重新索引:
.reindex()能够改变或重排Series和DataFrame索引
.reindex(index=None,columns=None,…)的参数:
参数 | 说明 |
---|---|
index, columns | 新的行列自定义索引 |
fill_value | 重新索引中,用于填充缺失位置的值 |
method | 填充方法,ffill当前值向前填充,bfill向后填充 |
limit | 最大填充量 |
copy | 默认为True,生成新的对象,False时,新旧相等不复制 |
索引类型:
- Series和DataFrame的索引是Index类型
- Index对象是不可修改类型
索引类型的常用方法:
方法 | 说明 |
---|---|
.append(idx) | 连接另一个Index对象,产生新的Index对象 |
.diff(idx) | 计算差集,产生新的Index对象 |
.intersection(idx) | 计算交集 |
.union(idx) | 计算并集 |
.delete(loc) | 删除loc位置处的元素 |
.insert(loc,e) | 在loc位置增加一个元素e |
索引类型的使用:
删除指定索引对象:
.drop()能够删除Series和DataFrame指定行或列索引
5 Pandas库的数据类型运算
算术运算法则:
算术运算根据行列索引,补齐后运算,运算默认产生浮点数。
- 补齐时缺项填充NaN(空值)
- 二维和一维、一维和零维间为广播运算
- 采用+-*/符号进行的二元运算产生新的对象
方法形式的运算:
方法 | 说明 |
---|---|
.add(d,**argws) | 类型间加法运算,可选参数 |
.sub(d,**argws) | 类型间减法运算,可选参数 |
.mul(d,**argws) | 类型间乘法运算,可选参数 |
.div(d,**argws) | 类型间除法运算,可选参数 |
比较运算法则:
- 比较运算只能比较相同索引的元素,不进行补齐。
- 二维和一维、一维和零维间为广播运算。
- 采用> < >= <= == !=等符号进行的二元运算产生布尔对象。
6 数据的排序
.sort_index()方法在指定轴上根据索引进行排序,默认升序。
- .sort_index(axis=0,ascending=True):
.sort_values()方法在指定轴上根据数值进行排序,默认升序。
- Series.sort_values(axis=0,ascending=True)
- DataFrame.sort_values(by,axis=0,ascending=True)
- by:axis轴上的某个索引或索引列表
7 数据的基本统计分析
基本的统计分析函数:
- 适用于Series和DataFrame类型:
方法 | 说明 |
---|---|
.sum() | 计算数据的综合,按0轴计算,下同 |
.count() | 非NaN值的数量 |
.mean() .median() | 计算数据的算术平均值、算术中位数 |
.var() .std() | 计算数据的方差、标准差 |
.min() .max() | 计算数据的最小值、最大值 |
- 适用于Series类型:
方法 | 说明 |
---|---|
.argmin() .argmax() | 计算数据最大值、最小值所在位置的索引位置(自动索引) |
.idxmin() .idxmax() | 计算数据最大值、最小值所在位置的索引(自定义索引) |
- 适用于Series和DataFrame类型
方法 | 说明 |
---|---|
.describe() | 针对0轴(各列)的统计汇总 |
8 数据的累计统计分析
累计统计分析函数:
- 适用于Series和DataFrame类型:
方法 | 说明 |
---|---|
.cumsum() | 依次给出前1、2、…、n个数的和 |
.cumprod() | 依次给出前1、2、…、n个数的积 |
.cummax() | 依次给出前1、2、…、n个数的最大值 |
.cummin() | 依次给出前1、2、…、n个数的最小值 |
- 适用于Series和DataFrame类型,滚动计算(窗口计算):
方法 | 说明 |
---|---|
.rolling(w).sum() | 依次计算相邻w个元素的和 |
.rolling(w).mean() | 依次计算相邻w个元素的算术平均值 |
.rolling(w).var() | 依次计算相邻w个元素的方差 |
.rolling(w).std() | 依次计算相邻w个元素的标准差 |
.rolling(w).min() .max() | 依次计算相邻w个元素的最小值和最大值 |
9 数据的相关分析
两个事物,表示为X和Y,如何判断它们之间的存在相关性?
- X增大,Y增大,两个变量正相关
- X增大,Y减小,两个变量负相关
- X增大,Y无视,两个变量不相关
协方差:
- 协方差>0,X和Y正相关
- 协方差<0,X和Y负相关
- 协方差=0,X和Y独立无关。
Pearson相关系数:
- 0.8-1.0 极强相关
- 0.6-0.8 强相关
- 0.4-0.6 中等程度相关
- 0.2-0.4 弱相关
- 0.0-0.2 极弱相关或无相关
相关分析函数:
- 适用于Series和DataFrame类型:
方法 | 说明 |
---|---|
.cov() | 计算协方差矩阵 |
.corr() | 计算相关系数矩阵,Pearson、Spearman、Kendall等系数 |
实例:房价增幅与M2增幅的相关性