数学建模自用
python数据分析之Pandas(1)
1.1 基本介绍
Pandas纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
import pandas as pd
import numpy as np
Pandas 基本数据结构
pandas
有两种常用的基本结构:
Series
- 一维数组,与Numpy中的一维array类似。二者与Python基本的数据结构List也很接近。Series能保存不同种数据类型,字符串、boolean值、数字等都能保存在Series中。
DataFrame
- 二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。以下的内容主要以DataFrame为主。
1.2 Series类型
一维Series
可以用一维列表初始化:
s = pd.Series([1,3,5,np.nan,6,8])#inp.nan设置空值
print(s)
0 1.0
1 3.0
2 5.0
3 NaN
4 6.0
5 8.0
dtype: float64
默认情况下,Series
的下标都是数字,类型是统一的,也可以使用额外参数指定,格式如下:
s = pd.Series([1,3,5,np.nan,6,8],index = ['a','b','c','d','x','y'])
print(s)
a 1.0
b 3.0
c 5.0
d NaN
x 6.0
y 8.0
dtype: float64
索引——数据的行标签
s.index #从0到6(不含),1为步长
RangeIndex(start=0, stop=6, step=1)
值
s.values
array([ 1., 3., 5., nan, 6., 8.])
s[3]
nan
切片操作
s[2:5] #左闭右开
2 5.0
3 NaN
4 6.0
dtype: float64
s[::2]
0 1.0
2 5.0
4 6.0
dtype: float64
索引赋值
s.index.name = '索引'
s
索引
0 1.0
1 3.0
2 5.0
3 NaN
4 6.0
5 8.0
dtype: float64
通过index直接进行索引的赋值:
s.index = list('abcdef')
s
a 1.0
b 3.0
c 5.0
d NaN
e 6.0
f 8.0
dtype: float64
s['a':'c':2] #可以依据自己定义的数据类型进行切片,不是左闭右开了
a 1.0
c 5.0
dtype: float64
1.3 Pandas库的DataFrame类型
DataFrame
则是个二维结构,首先构造一组时间序列,作为我们第一维的下标:
date = pd.date_range("20180101", periods = 6)#起点为20180101,生成六个时间
print(date)
DatetimeIndex([‘2018-01-01’, ‘2018-01-02’, ‘2018-01-03’, ‘2018-01-04’,
‘2018-01-05’, ‘2018-01-06’],
dtype=‘datetime64[ns]’, freq=‘D’)
然后创建一个DataFrame
结构:
df = pd.DataFrame(np.random.randn(6,4), index = date, columns = list("ABCD"))#rand:正态分布
df
A | B | C | D | |
---|---|---|---|---|
2018-01-01 | 0.123959 | 1.410645 | 1.160156 | -0.040847 |
2018-01-02 | 0.193493 | -0.258162 | -0.369650 | -0.904703 |
2018-01-03 | -0.561793 | -0.318462 | 0.550636 | -0.880063 |
2018-01-04 | -0.327359 | 0.779404 | -0.595986 | -1.353959 |
2018-01-05 | -0.750452 | 0.010893 | 0.905383 | -1.959101 |
2018-01-06 | 0.679508 | 0.332839 | 0.992519 | -0.357603 |
默认情况下,如果不指定index
参数和columns
,那么它们的值将从用0开始的数字替代。
df = pd.DataFrame(np.random.randn(6,4))
df
0 | 1 | 2 | 3 | |
---|---|---|---|---|
0 | 0.432538 | 0.453100 | -0.473034 | 0.724094 |
1 | 1.049742 | 1.205183 | 0.569527 | 0.736256 |
2 | -1.588060 | -0.514817 | 1.567094 | -0.030165 |
3 | 0.396022 | 0.559914 | 0.560541 | 0.652242 |
4 | 0.010920 | 1.214767 | 0.282596 | 0.199455 |
5 | 1.959016 | 1.591911 | 1.405936 | -0.336585 |
除了向DataFrame
中传入二维数组,我们也可以使用字典(大括号)传入数据:
df2 = pd.DataFrame({'A':1.,'B':pd.Timestamp("20181001"),'C':pd.Series(1,index = list(range(4)),dtype = float),'D':np.array([3]*4, dtype = int),'E':pd.Categorical(["test","train","test","train"]),'F':"abc"})
#B:时间戳,E:分类类型
df2
A | B | C | D | E | F | |
---|---|---|---|---|---|---|
0 | 1.0 | 2018-10-01 | 1.0 | 3 | test | abc |
1 | 1.0 | 2018-10-01 | 1.0 | 3 | train | abc |
2 | 1.0 | 2018-10-01 | 1.0 | 3 | test | abc |
3 | 1.0 | 2018-10-01 | 1.0 | 3 | train | abc |
df2.dtypes #查看各个列的数据类型
A float64
B datetime64[ns]
C float64
D int32
E category
F object
dtype: object
字典的每个key
代表一列,其value
可以是各种能够转化为Series
的对象。
与Series
要求所有的类型都一致不同,DataFrame
只要求每一列数据的格式相同。
查看数据
头尾数据
head
和tail
方法可以分别查看最前面几行和最后面几行的数据(默认为5):
df.head()
A | B | C | D | |
---|---|---|---|---|
2018-01-01 | 0.123959 | 1.410645 | 1.160156 | -0.040847 |
2018-01-02 | 0.193493 | -0.258162 | -0.369650 | -0.904703 |
2018-01-03 | -0.561793 | -0.318462 | 0.550636 | -0.880063 |
2018-01-04 | -0.327359 | 0.779404 | -0.595986 | -1.353959 |
2018-01-05 | -0.750452 | 0.010893 | 0.905383 | -1.959101 |
最后3行:
df.tail(3)
A | B | C | D | |
---|---|---|---|---|
2018-01-04 | -0.327359 | 0.779404 | -0.595986 | -1.353959 |
2018-01-05 | -0.750452 | 0.010893 | 0.905383 | -1.959101 |
2018-01-06 | 0.679508 | 0.332839 | 0.992519 | -0.357603 |
下标,列标,数据
下标使用index
属性查看:
df.index
DatetimeIndex([‘2018-01-01’, ‘2018-01-02’, ‘2018-01-03’, ‘2018-01-04’,
‘2018-01-05’, ‘2018-01-06’],
dtype=‘datetime64[ns]’, freq=‘D’)
列标使用columns
属性查看:
df.columns
Index([‘A’, ‘B’, ‘C’, ‘D’], dtype=‘object’)
数据值使用values
查看:
df.values
array([[ 0.1239595 , 1.41064454, 1.16015591, -0.04084732],
[ 0.19349291, -0.25816156, -0.36965027, -0.90470255],
[-0.56179325, -0.31846176, 0.55063633, -0.88006321],
[-0.32735894, 0.77940414, -0.59598597, -1.35395863],
[-0.75045196, 0.01089313, 0.90538264, -1.95910089],
[ 0.67950791, 0.33283874, 0.99251905, -0.35760335]])
1.4 pandas读取数据及数据操作
以豆瓣的电影数据作为我们深入了解Pandas的一个示例。
df = pd.read_excel(r"E:\python\作业3\豆瓣电影数据.xlsx",index_col = 0)
#r告诉编译器不需要转义
df.head()
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | |
---|---|---|---|---|---|---|---|---|---|
0 | 肖申克的救赎 | 692795.0 | 剧情/犯罪 | 美国 | 1994-09-10 00:00:00 | 142 | 1994 | 9.6 | 多伦多电影节 |
1 | 控方证人 | 42995.0 | 剧情/悬疑/犯罪 | 美国 | 1957-12-17 00:00:00 | 116 | 1957 | 9.5 | 美国 |
2 | 美丽人生 | 327855.0 | 剧情/喜剧/爱情 | 意大利 | 1997-12-20 00:00:00 | 116 | 1997 | 9.5 | 意大利 |
3 | 阿甘正传 | 580897.0 | 剧情/爱情 | 美国 | 1994-06-23 00:00:00 | 142 | 1994 | 9.4 | 洛杉矶首映 |
4 | 霸王别姬 | 478523.0 | 剧情/爱情/同性 | 中国大陆 | 1993-01-01 00:00:00 | 171 | 1993 | 9.4 | 香港 |
行操作
df.iloc[0]#第一行
名字 肖申克的救赎
投票人数 692795.0
类型 剧情/犯罪
产地 美国
上映时间 1994-09-10 00:00:00
时长 142
年代 1994
评分 9.6
首映地点 多伦多电影节
Name: 0, dtype: object
df.iloc[0:5] #左闭右开,前五行
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | |
---|---|---|---|---|---|---|---|---|---|
0 | 肖申克的救赎 | 692795.0 | 剧情/犯罪 | 美国 | 1994-09-10 00:00:00 | 142 | 1994 | 9.6 | 多伦多电影节 |
1 | 控方证人 | 42995.0 | 剧情/悬疑/犯罪 | 美国 | 1957-12-17 00:00:00 | 116 | 1957 | 9.5 | 美国 |
2 | 美丽人生 | 327855.0 | 剧情/喜剧/爱情 | 意大利 | 1997-12-20 00:00:00 | 116 | 1997 | 9.5 | 意大利 |
3 | 阿甘正传 | 580897.0 | 剧情/爱情 | 美国 | 1994-06-23 00:00:00 | 142 | 1994 | 9.4 | 洛杉矶首映 |
4 | 霸王别姬 | 478523.0 | 剧情/爱情/同性 | 中国大陆 | 1993-01-01 00:00:00 | 171 | 1993 | 9.4 | 香港 |
也可以使用loc
df.loc[0:5] #不是左闭右开
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | |
---|---|---|---|---|---|---|---|---|---|
0 | 肖申克的救赎 | 692795.0 | 剧情/犯罪 | 美国 | 1994-09-10 00:00:00 | 142 | 1994 | 9.6 | 多伦多电影节 |
1 | 控方证人 | 42995.0 | 剧情/悬疑/犯罪 | 美国 | 1957-12-17 00:00:00 | 116 | 1957 | 9.5 | 美国 |
2 | 美丽人生 | 327855.0 | 剧情/喜剧/爱情 | 意大利 | 1997-12-20 00:00:00 | 116 | 1997 | 9.5 | 意大利 |
3 | 阿甘正传 | 580897.0 | 剧情/爱情 | 美国 | 1994-06-23 00:00:00 | 142 | 1994 | 9.4 | 洛杉矶首映 |
4 | 霸王别姬 | 478523.0 | 剧情/爱情/同性 | 中国大陆 | 1993-01-01 00:00:00 | 171 | 1993 | 9.4 | 香港 |
5 | 泰坦尼克号 | 157074.0 | 剧情/爱情/灾难 | 美国 | 2012-04-10 00:00:00 | 194 | 2012 | 9.4 | 中国大陆 |
添加一行
dit = {"名字":"复仇者联盟3","投票人数":123456,"类型":"剧情/科幻","产地":"美国","上映时间":"2018-05-04 00:00:00","时长":142,"年代":2018,"评分":np.nan,"首映地点":"美国"}
s = pd.Series(dit)
s.name = 38738
s
名字 复仇者联盟3
投票人数 123456
类型 剧情/科幻
产地 美国
上映时间 2018-05-04 00:00:00
时长 142
年代 2018
评分 NaN
首映地点 美国
Name: 38738, dtype: object
df = df._append(s) #_appends:覆盖掉原来的数据重新进行赋值
df[-5:]
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | |
---|---|---|---|---|---|---|---|---|---|
38734 | 1935年 | 57.0 | 喜剧/歌舞 | 美国 | 1935-03-15 00:00:00 | 98 | 1935 | 7.6 | 美国 |
38735 | 血溅画屏 | 95.0 | 剧情/悬疑/犯罪/武侠/古装 | 中国大陆 | 1905-06-08 00:00:00 | 91 | 1986 | 7.1 | 美国 |
38736 | 魔窟中的幻想 | 51.0 | 惊悚/恐怖/儿童 | 中国大陆 | 1905-06-08 00:00:00 | 78 | 1986 | 8.0 | 美国 |
38737 | 列宁格勒围困之星火战役 Блокада: Фильм 2: Ленинградский ме... | 32.0 | 剧情/战争 | 苏联 | 1905-05-30 00:00:00 | 97 | 1977 | 6.6 | 美国 |
38738 | 复仇者联盟3 | 123456.0 | 剧情/科幻 | 美国 | 2018-05-04 00:00:00 | 142 | 2018 | NaN | 美国 |
删除一行
df = df.drop([38738])
df[-5:]
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | |
---|---|---|---|---|---|---|---|---|---|
38733 | 神学院 S | 46.0 | Adult | 法国 | 1905-06-05 00:00:00 | 58 | 1983 | 8.6 | 美国 |
38734 | 1935年 | 57.0 | 喜剧/歌舞 | 美国 | 1935-03-15 00:00:00 | 98 | 1935 | 7.6 | 美国 |
38735 | 血溅画屏 | 95.0 | 剧情/悬疑/犯罪/武侠/古装 | 中国大陆 | 1905-06-08 00:00:00 | 91 | 1986 | 7.1 | 美国 |
38736 | 魔窟中的幻想 | 51.0 | 惊悚/恐怖/儿童 | 中国大陆 | 1905-06-08 00:00:00 | 78 | 1986 | 8.0 | 美国 |
38737 | 列宁格勒围困之星火战役 Блокада: Фильм 2: Ленинградский ме... | 32.0 | 剧情/战争 | 苏联 | 1905-05-30 00:00:00 | 97 | 1977 | 6.6 | 美国 |
列操作
df.columns
Index([‘名字’, ‘投票人数’, ‘类型’, ‘产地’, ‘上映时间’, ‘时长’, ‘年代’, ‘评分’, ‘首映地点’], dtype=‘object’)
df["名字"][:5] #后面中括号表示只想看到的行数,下同
0 肖申克的救赎
1 控方证人
2 美丽人生
3 阿甘正传
4 霸王别姬
Name: 名字, dtype: object
df[["名字","类型"]][:5]
名字 | 类型 | |
---|---|---|
0 | 肖申克的救赎 | 剧情/犯罪 |
1 | 控方证人 | 剧情/悬疑/犯罪 |
2 | 美丽人生 | 剧情/喜剧/爱情 |
3 | 阿甘正传 | 剧情/爱情 |
4 | 霸王别姬 | 剧情/爱情/同性 |
增加一列
df["序号"] = range(1,len(df)+1) #生成序号的基本方式
df[:5]
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | 序号 | |
---|---|---|---|---|---|---|---|---|---|---|
0 | 肖申克的救赎 | 692795.0 | 剧情/犯罪 | 美国 | 1994-09-10 00:00:00 | 142 | 1994 | 9.6 | 多伦多电影节 | 1 |
1 | 控方证人 | 42995.0 | 剧情/悬疑/犯罪 | 美国 | 1957-12-17 00:00:00 | 116 | 1957 | 9.5 | 美国 | 2 |
2 | 美丽人生 | 327855.0 | 剧情/喜剧/爱情 | 意大利 | 1997-12-20 00:00:00 | 116 | 1997 | 9.5 | 意大利 | 3 |
3 | 阿甘正传 | 580897.0 | 剧情/爱情 | 美国 | 1994-06-23 00:00:00 | 142 | 1994 | 9.4 | 洛杉矶首映 | 4 |
4 | 霸王别姬 | 478523.0 | 剧情/爱情/同性 | 中国大陆 | 1993-01-01 00:00:00 | 171 | 1993 | 9.4 | 香港 | 5 |
删除一列
df = df.drop("序号",axis = 1) #axis指定方向,0为行1为列,默认为0
df[:5]
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | |
---|---|---|---|---|---|---|---|---|---|
0 | 肖申克的救赎 | 692795.0 | 剧情/犯罪 | 美国 | 1994-09-10 00:00:00 | 142 | 1994 | 9.6 | 多伦多电影节 |
1 | 控方证人 | 42995.0 | 剧情/悬疑/犯罪 | 美国 | 1957-12-17 00:00:00 | 116 | 1957 | 9.5 | 美国 |
2 | 美丽人生 | 327855.0 | 剧情/喜剧/爱情 | 意大利 | 1997-12-20 00:00:00 | 116 | 1997 | 9.5 | 意大利 |
3 | 阿甘正传 | 580897.0 | 剧情/爱情 | 美国 | 1994-06-23 00:00:00 | 142 | 1994 | 9.4 | 洛杉矶首映 |
4 | 霸王别姬 | 478523.0 | 剧情/爱情/同性 | 中国大陆 | 1993-01-01 00:00:00 | 171 | 1993 | 9.4 | 香港 |
通过标签选择数据
df.loc[[index],[colunm]]
通过标签选择数据
df.loc[1,"名字"]
‘控方证人’
df.loc[[1,3,5,7,9],["名字","评分"]] #多行跳行多列跳列选择
名字 | 评分 | |
---|---|---|
1 | 控方证人 | 9.5 |
3 | 阿甘正传 | 9.4 |
5 | 泰坦尼克号 | 9.4 |
7 | 新世纪福音战士剧场版:Air/真心为你 新世紀エヴァンゲリオン劇場版 Ai | 9.4 |
9 | 这个杀手不太冷 | 9.4 |
条件选择
选取产地为美国的所有电影
df[df["产地"] == "美国"][:5] #内部为bool类型
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | |
---|---|---|---|---|---|---|---|---|---|
0 | 肖申克的救赎 | 692795.0 | 剧情/犯罪 | 美国 | 1994-09-10 00:00:00 | 142 | 1994 | 9.6 | 多伦多电影节 |
1 | 控方证人 | 42995.0 | 剧情/悬疑/犯罪 | 美国 | 1957-12-17 00:00:00 | 116 | 1957 | 9.5 | 美国 |
3 | 阿甘正传 | 580897.0 | 剧情/爱情 | 美国 | 1994-06-23 00:00:00 | 142 | 1994 | 9.4 | 洛杉矶首映 |
5 | 泰坦尼克号 | 157074.0 | 剧情/爱情/灾难 | 美国 | 2012-04-10 00:00:00 | 194 | 2012 | 9.4 | 中国大陆 |
6 | 辛德勒的名单 | 306904.0 | 剧情/历史/战争 | 美国 | 1993-11-30 00:00:00 | 195 | 1993 | 9.4 | 华盛顿首映 |
选取产地为美国的所有电影,并且评分大于9分的电影
df[(df.产地 == "美国") & (df.评分 > 9)][:5] #df.标签:更简洁的写法
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | |
---|---|---|---|---|---|---|---|---|---|
0 | 肖申克的救赎 | 692795.0 | 剧情/犯罪 | 美国 | 1994-09-10 00:00:00 | 142 | 1994 | 9.6 | 多伦多电影节 |
1 | 控方证人 | 42995.0 | 剧情/悬疑/犯罪 | 美国 | 1957-12-17 00:00:00 | 116 | 1957 | 9.5 | 美国 |
3 | 阿甘正传 | 580897.0 | 剧情/爱情 | 美国 | 1994-06-23 00:00:00 | 142 | 1994 | 9.4 | 洛杉矶首映 |
5 | 泰坦尼克号 | 157074.0 | 剧情/爱情/灾难 | 美国 | 2012-04-10 00:00:00 | 194 | 2012 | 9.4 | 中国大陆 |
6 | 辛德勒的名单 | 306904.0 | 剧情/历史/战争 | 美国 | 1993-11-30 00:00:00 | 195 | 1993 | 9.4 | 华盛顿首映 |
选取产地为美国或中国大陆的所有电影,并且评分大于9分
df[((df.产地 == "美国") | (df.产地 == "中国大陆")) & (df.评分 > 9)][:5]
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | |
---|---|---|---|---|---|---|---|---|---|
0 | 肖申克的救赎 | 692795.0 | 剧情/犯罪 | 美国 | 1994-09-10 00:00:00 | 142 | 1994 | 9.6 | 多伦多电影节 |
1 | 控方证人 | 42995.0 | 剧情/悬疑/犯罪 | 美国 | 1957-12-17 00:00:00 | 116 | 1957 | 9.5 | 美国 |
3 | 阿甘正传 | 580897.0 | 剧情/爱情 | 美国 | 1994-06-23 00:00:00 | 142 | 1994 | 9.4 | 洛杉矶首映 |
4 | 霸王别姬 | 478523.0 | 剧情/爱情/同性 | 中国大陆 | 1993-01-01 00:00:00 | 171 | 1993 | 9.4 | 香港 |
5 | 泰坦尼克号 | 157074.0 | 剧情/爱情/灾难 | 美国 | 2012-04-10 00:00:00 | 194 | 2012 | 9.4 | 中国大陆 |
1.5 缺失值及异常值处理
缺失值处理方法:
方法 | 说明 |
---|---|
dropna | 根据标签中的缺失值进行过滤,删除缺失值 |
fillna | 对缺失值进行填充 |
isnull | 返回一个布尔值对象,判断哪些值是缺失值 |
notnull | isnull的否定式 |
判断缺失值
df[df.名字.isnull()][:10]
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | |
---|---|---|---|---|---|---|---|---|---|
231 | NaN | 144.0 | 纪录片/音乐 | 韩国 | 2011-02-02 00:00:00 | 90 | 2011 | 9.7 | 美国 |
361 | NaN | 80.0 | 短片 | 其他 | 1905-05-17 00:00:00 | 4 | 1964 | 5.7 | 美国 |
369 | NaN | 5315.0 | 剧情 | 日本 | 2004-07-10 00:00:00 | 111 | 2004 | 7.5 | 日本 |
372 | NaN | 263.0 | 短片/音乐 | 英国 | 1998-06-30 00:00:00 | 34 | 1998 | 9.2 | 美国 |
374 | NaN | 47.0 | 短片 | 其他 | 1905-05-17 00:00:00 | 3 | 1964 | 6.7 | 美国 |
375 | NaN | 1193.0 | 短片/音乐 | 法国 | 1905-07-01 00:00:00 | 10 | 2010 | 7.7 | 美国 |
411 | NaN | 32.0 | 短片 | 其他 | 1905-05-17 00:00:00 | 3 | 1964 | 7.0 | 美国 |
432 | NaN | 1081.0 | 剧情/动作/惊悚/犯罪 | 美国 | 2016-02-26 00:00:00 | 115 | 2016 | 6.0 | 美国 |
441 | NaN | 213.0 | 恐怖 | 美国 | 2007-03-06 00:00:00 | 83 | 2007 | 3.2 | 美国 |
448 | NaN | 110.0 | 纪录片 | 荷兰 | 2002-04-19 00:00:00 | 48 | 2000 | 9.3 | 美国 |
df[df.名字.notnull()][:5]
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | |
---|---|---|---|---|---|---|---|---|---|
0 | 肖申克的救赎 | 692795.0 | 剧情/犯罪 | 美国 | 1994-09-10 00:00:00 | 142 | 1994 | 9.6 | 多伦多电影节 |
1 | 控方证人 | 42995.0 | 剧情/悬疑/犯罪 | 美国 | 1957-12-17 00:00:00 | 116 | 1957 | 9.5 | 美国 |
2 | 美丽人生 | 327855.0 | 剧情/喜剧/爱情 | 意大利 | 1997-12-20 00:00:00 | 116 | 1997 | 9.5 | 意大利 |
3 | 阿甘正传 | 580897.0 | 剧情/爱情 | 美国 | 1994-06-23 00:00:00 | 142 | 1994 | 9.4 | 洛杉矶首映 |
4 | 霸王别姬 | 478523.0 | 剧情/爱情/同性 | 中国大陆 | 1993-01-01 00:00:00 | 171 | 1993 | 9.4 | 香港 |
填充缺失值
df[df["评分"].isnull()][:10] #注意这里特地将前面加入的复仇者联盟令其评分缺失来举例
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | |
---|---|---|---|---|---|---|---|---|---|
38738 | 复仇者联盟3 | 123456.0 | 剧情/科幻 | 美国 | 2018-05-04 00:00:00 | 142 | 2018 | NaN | 美国 |
df["评分"].fillna(np.mean(df["评分"]), inplace = True) #使用均值来进行替代,inplace意为直接在原始数据中进行修改
df[-5:]
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | |
---|---|---|---|---|---|---|---|---|---|
38734 | 1935年 | 57.0 | 喜剧/歌舞 | 美国 | 1935-03-15 00:00:00 | 98 | 1935 | 7.600000 | 美国 |
38735 | 血溅画屏 | 95.0 | 剧情/悬疑/犯罪/武侠/古装 | 中国大陆 | 1905-06-08 00:00:00 | 91 | 1986 | 7.100000 | 美国 |
38736 | 魔窟中的幻想 | 51.0 | 惊悚/恐怖/儿童 | 中国大陆 | 1905-06-08 00:00:00 | 78 | 1986 | 8.000000 | 美国 |
38737 | 列宁格勒围困之星火战役 Блокада: Фильм 2: Ленинградский ме... | 32.0 | 剧情/战争 | 苏联 | 1905-05-30 00:00:00 | 97 | 1977 | 6.600000 | 美国 |
38738 | 复仇者联盟3 | 123456.0 | 剧情/科幻 | 美国 | 2018-05-04 00:00:00 | 142 | 2018 | 6.935704 | 美国 |
df1 = df.fillna("未知电影") #只要是空值,就用“未知电影”填充(谨慎使用)
df1[df1["名字"].isnull()][:10]
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 |
---|
删除缺失值
df.dropna() 参数
how = 'all':删除全为空值的行或列
inplace = True: 覆盖之前的数据
axis = 0: 选择行或列,默认是行
len(df)
38739
df2 = df.dropna()
len(df2)
38176
df.dropna(inplace = True)
len(df) #inplace覆盖掉原来的值
38176
处理异常值
异常值,即在数据集中存在不合理的值,又称离群点。比如投票人数为-1等,都属于异常值的范围。
df[df["投票人数"] < 0] #直接删除,或者找原始数据来修正都行
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | |
---|---|---|---|---|---|---|---|---|---|
19777 | 皇家大贼 皇家大 | -80.0 | 剧情/犯罪 | 中国香港 | 1985-05-31 00:00:00 | 60 | 1985 | 6.3 | 美国 |
19786 | 日本的垃圾去中国大陆 にっぽんの“ゴミ” 大陆へ渡る ~中国式リサイクル錬 | -80.0 | 纪录片 | 日本 | 1905-06-26 00:00:00 | 60 | 2004 | 7.9 | 美国 |
19797 | 女教徒 | -118.0 | 剧情 | 法国 | 1966-05-06 00:00:00 | 135 | 1966 | 7.8 | 美国 |
df[df["投票人数"] % 1 != 0] #小数异常值
名字 | 投票人数 | 类型 | 产地 | 上映时间 | 时长 | 年代 | 评分 | 首映地点 | |
---|---|---|---|---|---|---|---|---|---|
19791 | 女教师 女教 | 8.30 | 剧情/犯罪 | 日本 | 1977-10-29 00:00:00 | 100 | 1977 | 6.6 | 日本 |
19804 | 女郎漫游仙境 ドレミファ娘の血は騒 | 5.90 | 喜剧/歌舞 | 日本 | 1985-11-03 00:00:00 | 80 | 1985 | 6.7 | 日本 |
19820 | 女仆日记 | 12.87 | 剧情 | 法国 | 2015-04-01 00:00:00 | 96 | 2015 | 5.7 | 法国 |
38055 | 逃出亚卡拉 | 12.87 | 剧情/动作/惊悚/犯罪 | 美国 | 1979-09-20 00:00:00 | 112 | 1979 | 7.8 | 美国 |
对于异常值,一般来说数量都会很少,在不影响整体数据分布的情况下,我们直接删除就可以了
其他属性的异常值处理,我们会在格式转换部分,进一步讨论
df = df[df.投票人数 > 0]
df = df[df["投票人数"] % 1 == 0]
1.6 数据保存
数据处理之后,然后将数据重新保存到movie_data.xlsx
df.to_excel("movie_data.xlsx") #默认路径为现在文件夹所在的路径