python数据分析之Pandas(1)

数学建模自用

python数据分析之Pandas(1)

1.1 基本介绍

Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

import pandas as pd
import numpy as np

Pandas 基本数据结构

pandas有两种常用的基本结构：

• Series
  • 一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构List也很接近。Series能保存不同种数据类型，字符串、boolean值、数字等都能保存在Series中。
• DataFrame
  • 二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。以下的内容主要以DataFrame为主。

1.2 Series类型

一维Series可以用一维列表初始化：

s = pd.Series([1,3,5,np.nan,6,8])#inp.nan设置空值
print(s)

0 1.0
1 3.0
2 5.0
3 NaN
4 6.0
5 8.0
dtype: float64

默认情况下，Series的下标都是数字，类型是统一的,也可以使用额外参数指定，格式如下：

s = pd.Series([1,3,5,np.nan,6,8],index = ['a','b','c','d','x','y'])
print(s)

a 1.0
b 3.0
c 5.0
d NaN
x 6.0
y 8.0
dtype: float64

索引——数据的行标签

s.index #从0到6（不含），1为步长

RangeIndex(start=0, stop=6, step=1)

值

s.values

array([ 1., 3., 5., nan, 6., 8.])

s[3]

nan

切片操作

s[2:5] #左闭右开

2 5.0
3 NaN
4 6.0
dtype: float64

s[::2]

0 1.0
2 5.0
4 6.0
dtype: float64

索引赋值

s.index.name = '索引'
s

索引
0 1.0
1 3.0
2 5.0
3 NaN
4 6.0
5 8.0
dtype: float64

通过index直接进行索引的赋值：

s.index = list('abcdef')
s

a 1.0
b 3.0
c 5.0
d NaN
e 6.0
f 8.0
dtype: float64

s['a':'c':2] #可以依据自己定义的数据类型进行切片，不是左闭右开了

a 1.0
c 5.0
dtype: float64

1.3 Pandas库的DataFrame类型

DataFrame则是个二维结构，首先构造一组时间序列，作为我们第一维的下标：

date = pd.date_range("20180101", periods = 6)#起点为20180101，生成六个时间
print(date)

DatetimeIndex([‘2018-01-01’, ‘2018-01-02’, ‘2018-01-03’, ‘2018-01-04’,
‘2018-01-05’, ‘2018-01-06’],
dtype=‘datetime64[ns]’, freq=‘D’)

然后创建一个DataFrame结构：

df = pd.DataFrame(np.random.randn(6,4), index = date, columns = list("ABCD"))#rand：正态分布
df

	A	B	C	D
2018-01-01	0.123959	1.410645	1.160156	-0.040847
2018-01-02	0.193493	-0.258162	-0.369650	-0.904703
2018-01-03	-0.561793	-0.318462	0.550636	-0.880063
2018-01-04	-0.327359	0.779404	-0.595986	-1.353959
2018-01-05	-0.750452	0.010893	0.905383	-1.959101
2018-01-06	0.679508	0.332839	0.992519	-0.357603

默认情况下，如果不指定index参数和columns，那么它们的值将从用0开始的数字替代。

df = pd.DataFrame(np.random.randn(6,4))
df

	0	1	2	3
0	0.432538	0.453100	-0.473034	0.724094
1	1.049742	1.205183	0.569527	0.736256
2	-1.588060	-0.514817	1.567094	-0.030165
3	0.396022	0.559914	0.560541	0.652242
4	0.010920	1.214767	0.282596	0.199455
5	1.959016	1.591911	1.405936	-0.336585

除了向DataFrame中传入二维数组，我们也可以使用字典（大括号）传入数据：

df2 = pd.DataFrame({'A':1.,'B':pd.Timestamp("20181001"),'C':pd.Series(1,index = list(range(4)),dtype = float),'D':np.array([3]*4, dtype = int),'E':pd.Categorical(["test","train","test","train"]),'F':"abc"}) 
#B:时间戳,E:分类类型
df2

	A	B	C	D	E	F
0	1.0	2018-10-01	1.0	3	test	abc
1	1.0	2018-10-01	1.0	3	train	abc
2	1.0	2018-10-01	1.0	3	test	abc
3	1.0	2018-10-01	1.0	3	train	abc

df2.dtypes #查看各个列的数据类型

A float64
B datetime64[ns]
C float64
D int32
E category
F object
dtype: object

字典的每个key代表一列，其value可以是各种能够转化为Series的对象。

与Series要求所有的类型都一致不同，DataFrame只要求每一列数据的格式相同。

查看数据

头尾数据

head和tail方法可以分别查看最前面几行和最后面几行的数据（默认为5）：

df.head()

	A	B	C	D
2018-01-01	0.123959	1.410645	1.160156	-0.040847
2018-01-02	0.193493	-0.258162	-0.369650	-0.904703
2018-01-03	-0.561793	-0.318462	0.550636	-0.880063
2018-01-04	-0.327359	0.779404	-0.595986	-1.353959
2018-01-05	-0.750452	0.010893	0.905383	-1.959101

最后3行：

df.tail(3)

	A	B	C	D
2018-01-04	-0.327359	0.779404	-0.595986	-1.353959
2018-01-05	-0.750452	0.010893	0.905383	-1.959101
2018-01-06	0.679508	0.332839	0.992519	-0.357603

下标，列标，数据

下标使用index属性查看：

df.index

DatetimeIndex([‘2018-01-01’, ‘2018-01-02’, ‘2018-01-03’, ‘2018-01-04’,
‘2018-01-05’, ‘2018-01-06’],
dtype=‘datetime64[ns]’, freq=‘D’)

列标使用columns属性查看：

df.columns

Index([‘A’, ‘B’, ‘C’, ‘D’], dtype=‘object’)

数据值使用values查看：

df.values

array([[ 0.1239595 , 1.41064454, 1.16015591, -0.04084732],
[ 0.19349291, -0.25816156, -0.36965027, -0.90470255],
[-0.56179325, -0.31846176, 0.55063633, -0.88006321],
[-0.32735894, 0.77940414, -0.59598597, -1.35395863],
[-0.75045196, 0.01089313, 0.90538264, -1.95910089],
[ 0.67950791, 0.33283874, 0.99251905, -0.35760335]])

1.4 pandas读取数据及数据操作

以豆瓣的电影数据作为我们深入了解Pandas的一个示例。

df = pd.read_excel(r"E:\python\作业3\豆瓣电影数据.xlsx",index_col = 0) 
#r告诉编译器不需要转义

df.head()

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点
0	肖申克的救赎	692795.0	剧情/犯罪	美国	1994-09-10 00:00:00	142	1994	9.6	多伦多电影节
1	控方证人	42995.0	剧情/悬疑/犯罪	美国	1957-12-17 00:00:00	116	1957	9.5	美国
2	美丽人生	327855.0	剧情/喜剧/爱情	意大利	1997-12-20 00:00:00	116	1997	9.5	意大利
3	阿甘正传	580897.0	剧情/爱情	美国	1994-06-23 00:00:00	142	1994	9.4	洛杉矶首映
4	霸王别姬	478523.0	剧情/爱情/同性	中国大陆	1993-01-01 00:00:00	171	1993	9.4	香港

行操作

df.iloc[0]#第一行

名字 肖申克的救赎
投票人数 692795.0
类型 剧情/犯罪
产地 美国
上映时间 1994-09-10 00:00:00
时长 142
年代 1994
评分 9.6
首映地点 多伦多电影节
Name: 0, dtype: object

df.iloc[0:5] #左闭右开，前五行

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点
0	肖申克的救赎	692795.0	剧情/犯罪	美国	1994-09-10 00:00:00	142	1994	9.6	多伦多电影节
1	控方证人	42995.0	剧情/悬疑/犯罪	美国	1957-12-17 00:00:00	116	1957	9.5	美国
2	美丽人生	327855.0	剧情/喜剧/爱情	意大利	1997-12-20 00:00:00	116	1997	9.5	意大利
3	阿甘正传	580897.0	剧情/爱情	美国	1994-06-23 00:00:00	142	1994	9.4	洛杉矶首映
4	霸王别姬	478523.0	剧情/爱情/同性	中国大陆	1993-01-01 00:00:00	171	1993	9.4	香港

也可以使用loc

df.loc[0:5] #不是左闭右开

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点
0	肖申克的救赎	692795.0	剧情/犯罪	美国	1994-09-10 00:00:00	142	1994	9.6	多伦多电影节
1	控方证人	42995.0	剧情/悬疑/犯罪	美国	1957-12-17 00:00:00	116	1957	9.5	美国
2	美丽人生	327855.0	剧情/喜剧/爱情	意大利	1997-12-20 00:00:00	116	1997	9.5	意大利
3	阿甘正传	580897.0	剧情/爱情	美国	1994-06-23 00:00:00	142	1994	9.4	洛杉矶首映
4	霸王别姬	478523.0	剧情/爱情/同性	中国大陆	1993-01-01 00:00:00	171	1993	9.4	香港
5	泰坦尼克号	157074.0	剧情/爱情/灾难	美国	2012-04-10 00:00:00	194	2012	9.4	中国大陆

添加一行

dit = {"名字":"复仇者联盟3","投票人数":123456,"类型":"剧情/科幻","产地":"美国","上映时间":"2018-05-04 00:00:00","时长":142,"年代":2018,"评分":np.nan,"首映地点":"美国"}
s = pd.Series(dit)
s.name = 38738
s

名字 复仇者联盟3
投票人数 123456
类型 剧情/科幻
产地 美国
上映时间 2018-05-04 00:00:00
时长 142
年代 2018
评分 NaN
首映地点 美国
Name: 38738, dtype: object

df = df._append(s) #_appends:覆盖掉原来的数据重新进行赋值
df[-5:]

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点
38734	1935年	57.0	喜剧/歌舞	美国	1935-03-15 00:00:00	98	1935	7.6	美国
38735	血溅画屏	95.0	剧情/悬疑/犯罪/武侠/古装	中国大陆	1905-06-08 00:00:00	91	1986	7.1	美国
38736	魔窟中的幻想	51.0	惊悚/恐怖/儿童	中国大陆	1905-06-08 00:00:00	78	1986	8.0	美国
38737	列宁格勒围困之星火战役 Блокада: Фильм 2: Ленинградский ме...	32.0	剧情/战争	苏联	1905-05-30 00:00:00	97	1977	6.6	美国
38738	复仇者联盟3	123456.0	剧情/科幻	美国	2018-05-04 00:00:00	142	2018	NaN	美国

删除一行

df = df.drop([38738])
df[-5:]

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点
38733	神学院 S	46.0	Adult	法国	1905-06-05 00:00:00	58	1983	8.6	美国
38734	1935年	57.0	喜剧/歌舞	美国	1935-03-15 00:00:00	98	1935	7.6	美国
38735	血溅画屏	95.0	剧情/悬疑/犯罪/武侠/古装	中国大陆	1905-06-08 00:00:00	91	1986	7.1	美国
38736	魔窟中的幻想	51.0	惊悚/恐怖/儿童	中国大陆	1905-06-08 00:00:00	78	1986	8.0	美国
38737	列宁格勒围困之星火战役 Блокада: Фильм 2: Ленинградский ме...	32.0	剧情/战争	苏联	1905-05-30 00:00:00	97	1977	6.6	美国

列操作

df.columns

Index([‘名字’, ‘投票人数’, ‘类型’, ‘产地’, ‘上映时间’, ‘时长’, ‘年代’, ‘评分’, ‘首映地点’], dtype=‘object’)

df["名字"][:5] #后面中括号表示只想看到的行数，下同

0 肖申克的救赎
1 控方证人
2 美丽人生
3 阿甘正传
4 霸王别姬
Name: 名字, dtype: object

df[["名字","类型"]][:5]

	名字	类型
0	肖申克的救赎	剧情/犯罪
1	控方证人	剧情/悬疑/犯罪
2	美丽人生	剧情/喜剧/爱情
3	阿甘正传	剧情/爱情
4	霸王别姬	剧情/爱情/同性

增加一列

df["序号"] = range(1,len(df)+1) #生成序号的基本方式
df[:5]

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点	序号
0	肖申克的救赎	692795.0	剧情/犯罪	美国	1994-09-10 00:00:00	142	1994	9.6	多伦多电影节	1
1	控方证人	42995.0	剧情/悬疑/犯罪	美国	1957-12-17 00:00:00	116	1957	9.5	美国	2
2	美丽人生	327855.0	剧情/喜剧/爱情	意大利	1997-12-20 00:00:00	116	1997	9.5	意大利	3
3	阿甘正传	580897.0	剧情/爱情	美国	1994-06-23 00:00:00	142	1994	9.4	洛杉矶首映	4
4	霸王别姬	478523.0	剧情/爱情/同性	中国大陆	1993-01-01 00:00:00	171	1993	9.4	香港	5

删除一列

df = df.drop("序号",axis = 1) #axis指定方向，0为行1为列，默认为0
df[:5]

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点
0	肖申克的救赎	692795.0	剧情/犯罪	美国	1994-09-10 00:00:00	142	1994	9.6	多伦多电影节
1	控方证人	42995.0	剧情/悬疑/犯罪	美国	1957-12-17 00:00:00	116	1957	9.5	美国
2	美丽人生	327855.0	剧情/喜剧/爱情	意大利	1997-12-20 00:00:00	116	1997	9.5	意大利
3	阿甘正传	580897.0	剧情/爱情	美国	1994-06-23 00:00:00	142	1994	9.4	洛杉矶首映
4	霸王别姬	478523.0	剧情/爱情/同性	中国大陆	1993-01-01 00:00:00	171	1993	9.4	香港

通过标签选择数据

df.loc[[index],[colunm]]通过标签选择数据

df.loc[1,"名字"]

‘控方证人’

df.loc[[1,3,5,7,9],["名字","评分"]] #多行跳行多列跳列选择

	名字	评分
1	控方证人	9.5
3	阿甘正传	9.4
5	泰坦尼克号	9.4
7	新世纪福音战士剧场版：Air/真心为你 新世紀エヴァンゲリオン劇場版 Ai	9.4
9	这个杀手不太冷	9.4

条件选择

选取产地为美国的所有电影

df[df["产地"] == "美国"][:5] #内部为bool类型

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点
0	肖申克的救赎	692795.0	剧情/犯罪	美国	1994-09-10 00:00:00	142	1994	9.6	多伦多电影节
1	控方证人	42995.0	剧情/悬疑/犯罪	美国	1957-12-17 00:00:00	116	1957	9.5	美国
3	阿甘正传	580897.0	剧情/爱情	美国	1994-06-23 00:00:00	142	1994	9.4	洛杉矶首映
5	泰坦尼克号	157074.0	剧情/爱情/灾难	美国	2012-04-10 00:00:00	194	2012	9.4	中国大陆
6	辛德勒的名单	306904.0	剧情/历史/战争	美国	1993-11-30 00:00:00	195	1993	9.4	华盛顿首映

选取产地为美国的所有电影，并且评分大于9分的电影

df[(df.产地 == "美国") & (df.评分 > 9)][:5] #df.标签:更简洁的写法

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点
0	肖申克的救赎	692795.0	剧情/犯罪	美国	1994-09-10 00:00:00	142	1994	9.6	多伦多电影节
1	控方证人	42995.0	剧情/悬疑/犯罪	美国	1957-12-17 00:00:00	116	1957	9.5	美国
3	阿甘正传	580897.0	剧情/爱情	美国	1994-06-23 00:00:00	142	1994	9.4	洛杉矶首映
5	泰坦尼克号	157074.0	剧情/爱情/灾难	美国	2012-04-10 00:00:00	194	2012	9.4	中国大陆
6	辛德勒的名单	306904.0	剧情/历史/战争	美国	1993-11-30 00:00:00	195	1993	9.4	华盛顿首映

选取产地为美国或中国大陆的所有电影，并且评分大于9分

df[((df.产地 == "美国") | (df.产地 == "中国大陆")) & (df.评分 > 9)][:5]

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点
0	肖申克的救赎	692795.0	剧情/犯罪	美国	1994-09-10 00:00:00	142	1994	9.6	多伦多电影节
1	控方证人	42995.0	剧情/悬疑/犯罪	美国	1957-12-17 00:00:00	116	1957	9.5	美国
3	阿甘正传	580897.0	剧情/爱情	美国	1994-06-23 00:00:00	142	1994	9.4	洛杉矶首映
4	霸王别姬	478523.0	剧情/爱情/同性	中国大陆	1993-01-01 00:00:00	171	1993	9.4	香港
5	泰坦尼克号	157074.0	剧情/爱情/灾难	美国	2012-04-10 00:00:00	194	2012	9.4	中国大陆

1.5 缺失值及异常值处理

缺失值处理方法：

方法	说明
dropna	根据标签中的缺失值进行过滤，删除缺失值
fillna	对缺失值进行填充
isnull	返回一个布尔值对象，判断哪些值是缺失值
notnull	isnull的否定式

判断缺失值

df[df.名字.isnull()][:10]

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点
231	NaN	144.0	纪录片/音乐	韩国	2011-02-02 00:00:00	90	2011	9.7	美国
361	NaN	80.0	短片	其他	1905-05-17 00:00:00	4	1964	5.7	美国
369	NaN	5315.0	剧情	日本	2004-07-10 00:00:00	111	2004	7.5	日本
372	NaN	263.0	短片/音乐	英国	1998-06-30 00:00:00	34	1998	9.2	美国
374	NaN	47.0	短片	其他	1905-05-17 00:00:00	3	1964	6.7	美国
375	NaN	1193.0	短片/音乐	法国	1905-07-01 00:00:00	10	2010	7.7	美国
411	NaN	32.0	短片	其他	1905-05-17 00:00:00	3	1964	7.0	美国
432	NaN	1081.0	剧情/动作/惊悚/犯罪	美国	2016-02-26 00:00:00	115	2016	6.0	美国
441	NaN	213.0	恐怖	美国	2007-03-06 00:00:00	83	2007	3.2	美国
448	NaN	110.0	纪录片	荷兰	2002-04-19 00:00:00	48	2000	9.3	美国

df[df.名字.notnull()][:5]

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点
0	肖申克的救赎	692795.0	剧情/犯罪	美国	1994-09-10 00:00:00	142	1994	9.6	多伦多电影节
1	控方证人	42995.0	剧情/悬疑/犯罪	美国	1957-12-17 00:00:00	116	1957	9.5	美国
2	美丽人生	327855.0	剧情/喜剧/爱情	意大利	1997-12-20 00:00:00	116	1997	9.5	意大利
3	阿甘正传	580897.0	剧情/爱情	美国	1994-06-23 00:00:00	142	1994	9.4	洛杉矶首映
4	霸王别姬	478523.0	剧情/爱情/同性	中国大陆	1993-01-01 00:00:00	171	1993	9.4	香港

填充缺失值

df[df["评分"].isnull()][:10] #注意这里特地将前面加入的复仇者联盟令其评分缺失来举例

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点
38738	复仇者联盟3	123456.0	剧情/科幻	美国	2018-05-04 00:00:00	142	2018	NaN	美国

df["评分"].fillna(np.mean(df["评分"]), inplace = True) #使用均值来进行替代，inplace意为直接在原始数据中进行修改
df[-5:]

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点
38734	1935年	57.0	喜剧/歌舞	美国	1935-03-15 00:00:00	98	1935	7.600000	美国
38735	血溅画屏	95.0	剧情/悬疑/犯罪/武侠/古装	中国大陆	1905-06-08 00:00:00	91	1986	7.100000	美国
38736	魔窟中的幻想	51.0	惊悚/恐怖/儿童	中国大陆	1905-06-08 00:00:00	78	1986	8.000000	美国
38737	列宁格勒围困之星火战役 Блокада: Фильм 2: Ленинградский ме...	32.0	剧情/战争	苏联	1905-05-30 00:00:00	97	1977	6.600000	美国
38738	复仇者联盟3	123456.0	剧情/科幻	美国	2018-05-04 00:00:00	142	2018	6.935704	美国

df1 = df.fillna("未知电影") #只要是空值，就用“未知电影”填充（谨慎使用）
df1[df1["名字"].isnull()][:10]

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点

删除缺失值

df.dropna() 参数

how = 'all':删除全为空值的行或列
inplace = True: 覆盖之前的数据
axis = 0: 选择行或列，默认是行
len(df)

38739

df2 = df.dropna()
len(df2)

38176

df.dropna(inplace = True)
len(df) #inplace覆盖掉原来的值

38176

处理异常值

异常值，即在数据集中存在不合理的值，又称离群点。比如投票人数为-1等，都属于异常值的范围。

df[df["投票人数"] < 0] #直接删除，或者找原始数据来修正都行

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点
19777	皇家大贼 皇家大	-80.0	剧情/犯罪	中国香港	1985-05-31 00:00:00	60	1985	6.3	美国
19786	日本的垃圾去中国大陆 にっぽんの“ゴミ” 大陆へ渡る ～中国式リサイクル錬	-80.0	纪录片	日本	1905-06-26 00:00:00	60	2004	7.9	美国
19797	女教徒	-118.0	剧情	法国	1966-05-06 00:00:00	135	1966	7.8	美国

df[df["投票人数"] % 1 != 0] #小数异常值

	名字	投票人数	类型	产地	上映时间	时长	年代	评分	首映地点
19791	女教师 女教	8.30	剧情/犯罪	日本	1977-10-29 00:00:00	100	1977	6.6	日本
19804	女郎漫游仙境 ドレミファ娘の血は騒	5.90	喜剧/歌舞	日本	1985-11-03 00:00:00	80	1985	6.7	日本
19820	女仆日记	12.87	剧情	法国	2015-04-01 00:00:00	96	2015	5.7	法国
38055	逃出亚卡拉	12.87	剧情/动作/惊悚/犯罪	美国	1979-09-20 00:00:00	112	1979	7.8	美国

对于异常值，一般来说数量都会很少，在不影响整体数据分布的情况下，我们直接删除就可以了

其他属性的异常值处理，我们会在格式转换部分，进一步讨论

df = df[df.投票人数 > 0]
df = df[df["投票人数"] % 1 == 0]

1.6 数据保存

数据处理之后，然后将数据重新保存到movie_data.xlsx

df.to_excel("movie_data.xlsx") #默认路径为现在文件夹所在的路径