python数学建模可视化,[Python与数学建模-数据处理与可视化]-3数据处理工具Pandas...

(Panel Data,面板数据)是在Numpy的基础上开发的，是Python最强大的数据分析和探索工具之一，作为金融数据分析工具而开发，支持类似于SQL语句的模型，支持时间序列分析。该工具库可以帮助数据分析师进行数据类型转换、缺失值的处理、描述性统计分析、数据的汇总等。

&工具库中包含的函数，可以使用如下命令：

import pandas as pd

dir(pd)

Pandas 中最重要的是Series和DataFrame子类，其导入方法如下：

from pandas import Series,DataFrame

Pandas 可以进行统计特征计算，包括均值、方差、分位数、相关系数和协方差等，这些统计特征可以反应数据的整体分布。

mean():

std():

cov():

var():

describe():非NaN数据个数、均值、标准差、最小值、样本25%、50%和75%分位数，最大值

1.Pandas 的序列与数据框

Pandas 数据结构的范围可以从一维到三维。Series(序列)是一维的，DataFrame(数据板)是二维的，Panel是三维甚至更高维的数据结构。通常，Series和DataFrame可以用于大多数统计、工程、财务和社会科学的场景中。

Series:它是一个带标签的一维数组，可以用于存储任意类型数据，例如整型、浮点型、字符串和其他有效的Python对象。它的行标签成为index。

DataFrame:它是一个带标签的二维数组，有行和列。列可以有多种类型。DataFrame可以看作二维结构的数组，例如电子表格和数据库表格。DataFrame也可以看作包含多个不同类型的Series的集合。

Panel:在统计学和经济学中，Panel data(面板数据)指多维数据，这个多维数据包括不同时间的不同测量结果。该数据结构的名称来源于其概念。与Series和DataFrame相比，面板数据是不太常用的一种数据结构。

1.1序列

构造一个序列可以如下方式实现：

1-通过同类型列表或元组构建

2-通过字典构建

3-通过Numpy中的一维数组构建

4-通过数据框中的某一列构建

例2.29 序列构建示例

#例2.29 序列构建示例

#程序文件Pex2_29.py

import pandas as pd

import numpy as np

s1 = pd.Series(np.array([10.5,20.5,30.5]))#由数组构造序列

s2 = pd.Series({"北京":10.5,"上海":20.5,"广东":30.5})#由字典构造序列

s3 = pd.Series([10.5,20.5,30.5],index = ['b','c','d'])#给出行标签命名

print(s1);

print("------------");

print(s2);

print("------------");

print(s3)

image.png

通过以上显示结果可以看出，序列由两列构成。由数组构建的序列，其第一列是序列的行索引(行号)，自动从0开始，第二列才是序列的实际值。通过字典构造的序列，第一列是具体的行名称(index),对应到字典中的键，第二列是序列的实际值，对应到字典中的值。

序列与一维数组也有很高的相似性，获取一维数组元素的所有方法都可以应用在序列上，而且数组的数学和统计函数也同样可以应用到序列对象上，不同的是，序列会有更多其他处理方法。

#例2.30 序列构建示例

#程序文件Pex2_30.py

import pandas as pd

import numpy as np

s = pd.Series([10.5,20.5,30.5],index = ['a','b','c'])

a = s['b']#取出序列中的第2个元素

b1 = np.mean(s)

b2 = s.mean()

数据框

DataFrame是由行和列构成的二维数据结构。虽然索引和列名称是可选的，但是最好把它们设置一下，索引可以看成是行标签，列名称可以看成是列标签。

数据框创建方式如下:

DataFrame(data=二维数据[,index = 行索引[,columns = 列索引[,dtype = 数据类型]]])

其中的data可以是二维Numpy数组，data如果是字典时，其值为一维数组，键为数据框的列名。

#例2.31 序列构建示例

#程序文件Pex2_31.py

import pandas as pd

import numpy as np

a = np.arange(1,7).reshape(3,2)

df1 = pd.DataFrame(a)

df2 = pd.DataFrame(a,index = ['a','b','c'],columns = ['x1','x2'])

df3 = pd.DataFrame({'x1':a[:,0],'x2':a[:,1]})

print(df1);

print('-------')

print(df2);

print('-------')

print(df3);

image.png

2.外部文件的存取

在实际应用中，更多的情况是通过Python读取外部数据，这些数据可能是文本文件(如csv、txt等类型)和电子表格Excel文件等。本小节实现基于Pandas库实现文本文件和Excel文件的读取。

Pandas 模块中的read_csv函数，可以读取txt和csv(逗号分隔的文本文件)文本格式数据。

read_csv的调用格式为:

read_csv(filepath_or_buffer, sep=',', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skipinitialspace=False, skiprows=None, skipfooter=0, nrows=None, na_values=None, keep_default_na=True, na_filter=True, verbose=False, skip_blank_lines=True, parse_dates=False, infer_datetime_format=False, keep_date_col=False, date_parser=None, dayfirst=False, iterator=False, chunksize=None, compression='infer', thousands=None, decimal=b'.', lineterminator=None, quotechar='"', quoting=0, doublequote=True, escapechar=None, comment=None, encoding=None, dialect=None, tupleize_cols=None, error_bad_lines=True, warn_bad_lines=True, delim_whitespace=False, low_memory=True, memory_map=False, float_precision=None)

其中几个重要参数如下：

(1)filepath_or_buffer:可以是URL和文件，可用URL类型包括http,ftp等。

(2)sep:如果不指定参数,则会尝试使用逗号分隔。

(3)delimiter:定界符，备选分隔符(如果指定该参数，则sep参数失效)。

(4)header:header = None,指明原始数据文件没有列标题，这样read_csv会自动加上列标题。header = 0表示文件第一行为列标题(索引从0开始)。header参数可以是一个list，例如：[0，1，3],这个list表示将文件中的第1，2，4行作为列标题(意义着每一列多个标题)，这些行将被忽略掉。

(5)names:如果原数集中没有字符，可以通过该参数在数据读取时给数据添加具体的表头。

(6)index_col:用作行索引的列表号或列名，如果给定一个序列则有多个行索引。

(7)skiprows:数据读取时，假定需要跳过原数据集开头的行数。

(8)skipfooter:数据读取时，指定需要通过原数据集末尾的行数。

(9)nrows:指定读取数据的行数。

(10)na_values:指定原数集中哪些特征的值作为缺失值。

(11)skip_blank_lines:读取数据时是否需要通过原数据集中的空白行，默认为True.

(12)parse_dates:如果参数值为True,则尝试解析数据框的行索引；如果参数为列表，则尝试解析对应的日期列；如果参数为嵌套列表，则将某些列合并为日期列；如果参数为字典，则解析对应的列(字典中的值)，并生成新的字段名(字典中的键)。

(13):指定原数据集中的千分位符。

image.png

#例2.32 序列构建示例

#程序文件Pex2_32.py

import pandas as pd

a = pd.read_csv('Pdata2_32.txt',sep = ',',parse_dates = {'birthday':[0,1,2]},skiprows = 2,skipfooter = 2,comment = '#',thousands = '&',engine = 'python')

#parse_dates参数通过字典实现前三列的日期解析，并合并为新字段birthday

print(a)

b = pd.read_csv('Pdata2_32.txt',sep = ',',skiprows = 2,skipfooter = 2)

print('-----------------------')

print(b)

image.png

read_excel()函数可以读入Excel文件中的数据，其常用调用格式为：

read_excel(io, sheet_name=0, header=0, names=None, index_col=None, parse_cols=None, usecols=None, dtype=None)

其中：

(1)io:Excel文件名

(2)sheet_name:表单名或单序号

image.png

#例2.32 序列构建示例

#程序文件Pex2_33.py

import pandas as pd

a = pd.read_excel('Pdata2_33.xlsx',usecols = range(1,4))#提取第2列到第4列的数据

b = a.values#提取其中的数据

c = a.describe()#对数据进行统计描述

print(a)

print('---------------------------')

print(b)

print('---------------------------')

print(c)

image.png

#例2.34 序列构建示例

#程序文件Pex2_34.py

import pandas as pd

import numpy as np

a = pd.read_excel('Pdata2_33.xlsx',usecols = range(1,4))

b = a.values

#生成DataFrame类型数据

c = pd.DataFrame(b,index = np.arange(1,11),columns = ['用户A','用户B','用户C'])

f = pd.ExcelWriter('Pdata2_34.xlsx')#创建文件对象

c.to_excel(f,'sheet1')

c.to_excel(f,'sheet2')

f.save()

image.png

有时数据读入后并不是对整体数据进行分析，而是分析数据中的部分子集。在Pandas库中实现数据子集的获取可以使用iloc,loc两种方法，这两种方法既可以对数据进行筛选，也可以实现变量的筛选，它们的语法可以表示成

[rows_select,cols_select]

iloc:只能通过行号和列号进行数据的筛选，该索引方式与数组的索引方式类似，都是从0开始，可以间隔取号，对于切片仍然无法取到上限。

loc:可以指定具体的行标签(行名称)和列标签(字段名)，而且，还可以将row_select指定为具体的筛选条件。

#例2.35 序列构建示例

#程序文件Pex2_35.py

import pandas as pd

import numpy as np

a = pd.read_excel('Pdata2_33.xlsx',usecols = range(1,4))

b1 = a.iloc[np.arange(6),[0,1,2]]#通过标号筛选数据

b2 = a.loc[np.arange(6),['用户A','用户B']]#通过标签筛选数据

print(b1)

print('---------------------------------')

print(b2)

image.png