(Panel Data,面板数据)是在Numpy的基础上开发的,是Python最强大的数据分析和探索工具之一,作为金融数据分析工具而开发,支持类似于SQL语句的模型,支持时间序列分析。该工具库可以帮助数据分析师进行数据类型转换、缺失值的处理、描述性统计分析、数据的汇总等。
&工具库中包含的函数,可以使用如下命令:
import pandas as pd
dir(pd)
Pandas 中最重要的是Series和DataFrame子类,其导入方法如下:
from pandas import Series,DataFrame
Pandas 可以进行统计特征计算,包括均值、方差、分位数、相关系数和协方差等,这些统计特征可以反应数据的整体分布。
mean():
std():
cov():
var():
describe():非NaN数据个数、均值、标准差、最小值、样本25%、50%和75%分位数,最大值
1.Pandas 的序列与数据框
Pandas 数据结构的范围可以从一维到三维。Series(序列)是一维的,DataFrame(数据板)是二维的,Panel是三维甚至更高维的数据结构。通常,Series和DataFrame可以用于大多数统计、工程、财务和社会科学的场景中。
Series:它是一个带标签的一维数组,可以用于存储任意类型数据,例如整型、浮点型、字符串和其他有效的Python对象。它的行标签成为index。
DataFrame:它是一个带标签的二维数组,有行和列。列可以有多种类型。DataFrame可以看作二维结构的数组,例如电子表格和数据库表格。DataFrame也可以看作包含多个不同类型的Series的集合。
Panel:在统计学和经济学中,Panel data(面板数据)指多维数据,这个多维数据包括不同时间的不同测量结果。该数据结构的名称来源于其概念。与Series和DataFrame相比,面板数据是不太常用的一种数据结构。
1.1序列
构造一个序列可以如下方式实现:
1-通过同类型列表或元组构建
2-通过字典构建
3-通过Numpy中的一维数组构建
4-通过数据框中的某一列构建
例2.29 序列构建示例
#例2.29 序列构建示例
#程序文件Pex2_29.py
import pandas as pd
import numpy as np
s1 = pd.Series(np.array([10.5,20.5,30.5]))#由数组构造序列
s2 = pd.Series({"北京":10.5,"上海":20.5,"广东":30.5})#由字典构造序列
s3 = pd.Series([10.5,20.5,30.5],index = ['b','c','d'])#给出行标签命名
print(s1);
print("------------");
print(s2);
print("------------");
print(s3)
image.png
通过以上显示结果可以看出,序列由两列构成。由数组构建的序列,其第一列是序列的行索引(行号),自动从0开始,第二列才是序列的实际值。通过字典构造的序列,第一列是具体的行名称(index),对应到字典中的键,第二列是序列的实际值,对应到字典中的值。
序列与一维数组也有很高的相似性,获取一维数组元素的所有方法都可以应用在序列上,而且数组的数学和统计函数也同样可以应用到序列对象上,不同的是,序列会有更多其他处理方法。
#例2.30 序列构建示例
#程序文件Pex2_30.py
import pandas as pd
import numpy as np
s = pd.Series([10.5,20.5,30.5],index = ['a','b','c'])
a = s['b']#取出序列中的第2个元素
b1 = np.mean(s)
b2 = s.mean()
数据框
DataFrame是由行和列构成的二维数据结构。虽然索引和列名称是可选的,但是最好把它们设置一下,索引可以看成是行标签,列名称可以看成是列标签。
数据框创建方式如下:
DataFrame(data=二维数据[,index = 行索引[,columns = 列索引[,dtype = 数据类型]]])
其中的data可以是二维Numpy数组,data如果是字典时,其值为一维数组,键为数据框的列名。
#例2.31 序列构建示例
#程序文件Pex2_31.py
import pandas as pd
import numpy as np
a = np.arange(1,7).reshape(3,2)
df1 = pd.DataFrame(a)
df2 = pd.DataFrame(a,index = ['a','b','c'],columns = ['x1','x2'])
df3 = pd.DataFrame({'x1':a[:,0],'x2':a[:,1]})
print(df1);
print('-------')
print(df2);
print('-------')
print(df3);
image.png
2.外部文件的存取
在实际应用中,更多的情况是通过Python读取外部数据,这些数据可能是文本文件(如csv、txt等类型)和电子表格Excel文件等。本小节实现基于Pandas库实现文本文件和Excel文件的读取。
Pandas 模块中的read_csv函数,可以读取txt和csv(逗号分隔的文本文件)文本格式数据。
read_csv的调用格式为:
read_csv(filepath_or_buffer, sep=',', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skipinitialspace=False, skiprows=None, skipfooter=0, nrows=None, na_values=None, keep_default_na=True, na_filter=True, verbose=False, skip_blank_lines=True, parse_dates=False, infer_datetime_format=False, keep_date_col=False, date_parser=None, dayfirst=False, iterator=False, chunksize=None, compression='infer', thousands=None, decimal=b'.', lineterminator=None, quotechar='"', quoting=0, doublequote=True, escapechar=None, comment=None, encoding=None, dialect=None, tupleize_cols=None, error_bad_lines=True, warn_bad_lines=True, delim_whitespace=False, low_memory=True, memory_map=False, float_precision=None)
其中几个重要参数如下:
(1)filepath_or_buffer:可以是URL和文件,可用URL类型包括http,ftp等。
(2)sep:如果不指定参数,则会尝试使用逗号分隔。
(3)delimiter:定界符,备选分隔符(如果指定该参数,则sep参数失效)。
(4)header:header = None,指明原始数据文件没有列标题,这样read_csv会自动加上列标题。header = 0表示文件第一行为列标题(索引从0开始)。header参数可以是一个list,例如:[0,1,3],这个list表示将文件中的第1,2,4行作为列标题(意义着每一列多个标题),这些行将被忽略掉。
(5)names:如果原数集中没有字符,可以通过该参数在数据读取时给数据添加具体的表头。
(6)index_col:用作行索引的列表号或列名,如果给定一个序列则有多个行索引。
(7)skiprows:数据读取时,假定需要跳过原数据集开头的行数。
(8)skipfooter:数据读取时,指定需要通过原数据集末尾的行数。
(9)nrows:指定读取数据的行数。
(10)na_values:指定原数集中哪些特征的值作为缺失值。
(11)skip_blank_lines:读取数据时是否需要通过原数据集中的空白行,默认为True.
(12)parse_dates:如果参数值为True,则尝试解析数据框的行索引;如果参数为列表,则尝试解析对应的日期列;如果参数为嵌套列表,则将某些列合并为日期列;如果参数为字典,则解析对应的列(字典中的值),并生成新的字段名(字典中的键)。
(13):指定原数据集中的千分位符。
image.png
#例2.32 序列构建示例
#程序文件Pex2_32.py
import pandas as pd
a = pd.read_csv('Pdata2_32.txt',sep = ',',parse_dates = {'birthday':[0,1,2]},skiprows = 2,skipfooter = 2,comment = '#',thousands = '&',engine = 'python')
#parse_dates参数通过字典实现前三列的日期解析,并合并为新字段birthday
print(a)
b = pd.read_csv('Pdata2_32.txt',sep = ',',skiprows = 2,skipfooter = 2)
print('-----------------------')
print(b)
image.png
read_excel()函数可以读入Excel文件中的数据,其常用调用格式为:
read_excel(io, sheet_name=0, header=0, names=None, index_col=None, parse_cols=None, usecols=None, dtype=None)
其中:
(1)io:Excel文件名
(2)sheet_name:表单名或单序号
image.png
#例2.32 序列构建示例
#程序文件Pex2_33.py
import pandas as pd
a = pd.read_excel('Pdata2_33.xlsx',usecols = range(1,4))#提取第2列到第4列的数据
b = a.values#提取其中的数据
c = a.describe()#对数据进行统计描述
print(a)
print('---------------------------')
print(b)
print('---------------------------')
print(c)
image.png
#例2.34 序列构建示例
#程序文件Pex2_34.py
import pandas as pd
import numpy as np
a = pd.read_excel('Pdata2_33.xlsx',usecols = range(1,4))
b = a.values
#生成DataFrame类型数据
c = pd.DataFrame(b,index = np.arange(1,11),columns = ['用户A','用户B','用户C'])
f = pd.ExcelWriter('Pdata2_34.xlsx')#创建文件对象
c.to_excel(f,'sheet1')
c.to_excel(f,'sheet2')
f.save()
image.png
有时数据读入后并不是对整体数据进行分析,而是分析数据中的部分子集。在Pandas库中实现数据子集的获取可以使用iloc,loc两种方法,这两种方法既可以对数据进行筛选,也可以实现变量的筛选,它们的语法可以表示成
[rows_select,cols_select]
iloc:只能通过行号和列号进行数据的筛选,该索引方式与数组的索引方式类似,都是从0开始,可以间隔取号,对于切片仍然无法取到上限。
loc:可以指定具体的行标签(行名称)和列标签(字段名),而且,还可以将row_select指定为具体的筛选条件。
#例2.35 序列构建示例
#程序文件Pex2_35.py
import pandas as pd
import numpy as np
a = pd.read_excel('Pdata2_33.xlsx',usecols = range(1,4))
b1 = a.iloc[np.arange(6),[0,1,2]]#通过标号筛选数据
b2 = a.loc[np.arange(6),['用户A','用户B']]#通过标签筛选数据
print(b1)
print('---------------------------------')
print(b2)
image.png