1 数据载入及初步观察
通过数据分析的实战教学,完成kaggle上泰坦尼克的任务,实战数据分析全流程。
参考资料:
教材《Python for Data Analysis》
1.1 载入数据
1.1.2 任务二:载入数据
(1) 使用相对路径载入数据
(2) 使用绝对路径载入数据
df=pd.read_csv("train.csv")
df.head()
df1 = pd.read_csv("C:/Users/lenovo/Desktop/DW/hands-on-data-analysis-master/titanic/train.csv")
#要么路径中都是英文名
#要么路径后加上engine='python'
#df1 = pd.read_csv("C:/Users/lenovo/Desktop/DW/hands-on-data-analysis-master/第一单元项目集合/train.csv",engine='python')
df1.head()
【思考】知道数据加载的方法后,试试pd.read_csv()和pd.read_table()的不同,如果想让他们效果一样,需要怎么做?了解一下’.tsv’和’.csv’的不同,如何加载这两个数据集?
table默认分隔符为制表符(’\t’)
让table 和 csv 效果一样加上 sep=’,’
df1 = pd.read_table("C:/Users/lenovo/Desktop/DW/hands-on-data-analysis-master/第一单元项目集合/train.csv",sep=',',engine='python')
df1.head()
【总结】加载的数据是所有工作的第一步,我们的工作会接触到不同的数据格式(eg:.csv;.tsv;.xlsx),但是加载的方法和思路都是一样的,在以后工作和做项目的过程中,遇到之前没有碰到的问题,要多多查资料吗,使用google,了解业务逻辑,明白输入和输出是什么。
1.1.3 任务三:每1000行为一个数据模块,逐块读取
chunker = pd.read_csv('train.csv', chunksize=1000)
【思考】什么是逐块读取?为什么要逐块读取呢?
有chunksize参数可以进行逐块加载,它的本质就是将文本分成若干块
for chunk in chunker
1.1.4 任务四:将表头改成中文,索引改为乘客ID
df = pd.read_csv('train.csv',names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数',
'船票信息','票价','客舱','登船港口'],
index_col='乘客ID',header=0)
#header=0将第一行数据作为列名然后又被重命名names覆盖了,也可先读取后改名
df.head()
是否幸存 | 仓位等级 | 姓名 | 性别 | 年龄 | 兄弟姐妹个数 | 父母子女个数 | 船票信息 | 票价 | 客舱 | 登船港口 | |
---|---|---|---|---|---|---|---|---|---|---|---|
乘客ID | |||||||||||
1 | 0 | 3 | Braund, Mr. Owen Harris | male | 22.0 | 1 | 0 | A/5 21171 | 7.2500 | NaN | S |
2 | 1 | 1 | Cumings, Mrs. John Bradley (Florence Briggs Th... | female | 38.0 | 1 | 0 | PC 17599 | 71.2833 | C85 | C |
3 | 1 | 3 | Heikkinen, Miss. Laina | female | 26.0 | 0 | 0 | STON/O2. 3101282 | 7.9250 | NaN | S |
4 | 1 | 1 | Futrelle, Mrs. Jacques Heath (Lily May Peel) | female | 35.0 | 1 | 0 | 113803 | 53.1000 | C123 | S |
5 | 0 | 3 | Allen, Mr. William Henry | male | 35.0 | 0 | 0 | 373450 | 8.0500 | NaN | S |
【思考】所谓将表头改为中文其中一个思路是:将英文额度表头替换成中文。还有其他的方法吗?
# df = pd.read_csv('train.csv')
# df.columns = ['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数',
# '船票信息','票价','客舱','登船港口']
# df.head()
1.2 初步观察
导入数据后,你可能要对数据的整体结构和样例进行概览,比如说,数据大小、有多少列,各列都是什么格式的,是否包含null等
1.2.1 任务一:查看数据的基本信息
df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 891 entries, 1 to 891
Data columns (total 11 columns):
是否幸存 891 non-null int64
仓位等级 891 non-null int64
姓名 891 non-null object
性别 891 non-null object
年龄 714 non-null float64
兄弟姐妹个数 891 non-null int64
父母子女个数 891 non-null int64
船票信息 891 non-null object
票价 891 non-null float64
客舱 204 non-null object
登船港口 889 non-null object
dtypes: float64(2), int64(4), object(5)
memory usage: 83.5+ KB
df.describe()
1.2.2 任务二:观察表格前10行的数据和后15行的数据
df.head(10)
df.tail(15)
1.2.3 任务三:判断数据是否为空,为空的地方返回True,其余地方返回False
df.isnull()
1.3 保存数据
df.to_csv('train_chinese.csv')
1.4 数据查看与删除
查看DataFrame数据的每列的项
df.columns
Index(['PassengerId', 'Survived', 'Pclass', 'Name', 'Sex', 'Age', 'SibSp',
'Parch', 'Ticket', 'Fare', 'Cabin', 'Embarked'],
dtype='object')
查看"cabin"这列的所有项 [有多种方法]
df["Cabin"].head()
df.Cabin.head()
0 NaN
1 C85
2 NaN
3 C123
4 NaN
Name: Cabin, dtype: object
删除多余的列的方式
del df1['a'] #永久删除
df1.head()
"""drop方法的用法:drop(labels, axis=0, level=None, inplace=False, errors='raise')
-- axis为0时表示删除行,axis为1时表示删除列 默认为按行
inplace 接收逻辑型boolean代表操作是否对原数据生效,默认为False
labels代表删除行或列的标签"""
df1.drop('a',axis=1).head()
隐藏列: 将[‘PassengerId’,‘Name’,‘Age’,‘Ticket’]这几个列元素隐藏,只观察其他几个列元素
df.drop(['PassengerId','Name','Age','Ticket'],axis=1).head(3)
Survived | Pclass | Sex | SibSp | Parch | Fare | Cabin | Embarked | |
---|---|---|---|---|---|---|---|---|
0 | 0 | 3 | male | 1 | 0 | 7.2500 | NaN | S |
1 | 1 | 1 | female | 1 | 0 | 71.2833 | C85 | C |
2 | 1 | 3 | female | 0 | 0 | 7.9250 | NaN | S |
【思考】对比任务五和任务六,是不是使用了不一样的方法(函数),如果使用一样的函数如何完成上面的不同的要求呢?
【思考回答】
如果想要完全的删除你的数据结构,使用inplace=True,因为使用inplace就将原数据覆盖了,所以这里没有用
df.head()
PassengerId | Survived | Pclass | Name | Sex | Age | SibSp | Parch | Ticket | Fare | Cabin | Embarked | |
---|---|---|---|---|---|---|---|---|---|---|---|---|
0 | 1 | 0 | 3 | Braund, Mr. Owen Harris | male | 22.0 | 1 | 0 | A/5 21171 | 7.2500 | NaN | S |
1 | 2 | 1 | 1 | Cumings, Mrs. John Bradley (Florence Briggs Th... | female | 38.0 | 1 | 0 | PC 17599 | 71.2833 | C85 | C |
2 | 3 | 1 | 3 | Heikkinen, Miss. Laina | female | 26.0 | 0 | 0 | STON/O2. 3101282 | 7.9250 | NaN | S |
3 | 4 | 1 | 1 | Futrelle, Mrs. Jacques Heath (Lily May Peel) | female | 35.0 | 1 | 0 | 113803 | 53.1000 | C123 | S |
4 | 5 | 0 | 3 | Allen, Mr. William Henry | male | 35.0 | 0 | 0 | 373450 | 8.0500 | NaN | S |
1.5 筛选的逻辑
表格数据中,最重要的一个功能就是要具有可筛选的能力,选出我所需要的信息,丢弃无用的信息。
1.5.2任务二: 以"Age"为条件,将年龄在10岁以上和50岁以下的乘客信息显示出来,并将这个数据命名为midage
midage=df[(df["Age"]>10) & (df["Age"]<50)]
midage.head()
1.5.3 任务三:将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来
midage = midage.reset_index(drop=True) #重置索引
midage.head()
PassengerId | Survived | Pclass | Name | Sex | Age | SibSp | Parch | Ticket | Fare | Cabin | Embarked | |
---|---|---|---|---|---|---|---|---|---|---|---|---|
0 | 1 | 0 | 3 | Braund, Mr. Owen Harris | male | 22.0 | 1 | 0 | A/5 21171 | 7.2500 | NaN | S |
1 | 2 | 1 | 1 | Cumings, Mrs. John Bradley (Florence Briggs Th... | female | 38.0 | 1 | 0 | PC 17599 | 71.2833 | C85 | C |
2 | 3 | 1 | 3 | Heikkinen, Miss. Laina | female | 26.0 | 0 | 0 | STON/O2. 3101282 | 7.9250 | NaN | S |
3 | 4 | 1 | 1 | Futrelle, Mrs. Jacques Heath (Lily May Peel) | female | 35.0 | 1 | 0 | 113803 | 53.1000 | C123 | S |
4 | 5 | 0 | 3 | Allen, Mr. William Henry | male | 35.0 | 0 | 0 | 373450 | 8.0500 | NaN | S |
midage.loc[[100],['Pclass','Sex']]
Pclass | Sex | |
---|---|---|
100 | 2 | male |
【思考】这个reset_index()函数的作用是什么?如果不用这个函数,下面的任务会出现什么情况?
reset_index()是重置索引,因为前面对数据进行了筛选,所以索引不连续,而drop=True是表示把原来的索引index列去掉,默认 False。
1.5.4 任务四:将midage的数据中第100,105,108行的"Pclass","Name"和"Sex"的数据显示出来
loc方法
midage.loc[[100,105,108],["Pclass","Name","Sex"]]
iloc方法
midage.iloc[[100,105,108],[2,3,4]]
Pclass | Name | Sex | |
---|---|---|---|
100 | 2 | Byles, Rev. Thomas Roussel Davids | male |
105 | 3 | Cribb, Mr. John Hatfield | male |
108 | 3 | Calic, Mr. Jovo | male |
基于标签: loc
基于位置: iloc
2 探索性数据分析
1.6 数据的排序、计算与描述
教材《Python for Data Analysis》第五章
1.6.1 任务一:利用Pandas对示例数据进行排序
# 具体请看《利用Python进行数据分析》第五章 排序和排名 部分
#自己构建一个都为数字的DataFrame数据
frame = pd.DataFrame(np.arange(8).reshape((2, 4)),
index=['2', '1'],
columns=['d', 'a', 'b', 'c'])
frame
1.根据列的值来排序
frame.sort_values(by='c', ascending=False)
# 大多数时候我们都是想根据列的值来排序
2.让行索引升序排序
frame.sort_index()
3.让列索引升序排序
frame.sort_index(axis=1)
4.让列索引降序排序
frame.sort_index(axis=1,ascending=False)
5.让任选两列数据同时降序排序
frame.sort_values(by=['a', 'c'])
1.6.2 任务二:对泰坦尼克号数据(trian.csv)按票价和年龄两列进行综合排序(降序排列),从这个数据中你可以分析出什么?
df.sort_values(by=['票价', '年龄'], ascending=False).head(20)
乘客ID | 是否幸存 | 仓位等级 | 姓名 | 性别 | 年龄 | 兄弟姐妹个数 | 父母子女个数 | 船票信息 | 票价 | 客舱 | 登船港口 | |
---|---|---|---|---|---|---|---|---|---|---|---|---|
679 | 680 | 1 | 1 | Cardeza, Mr. Thomas Drake Martinez | male | 36.0 | 0 | 1 | PC 17755 | 512.3292 | B51 B53 B55 | C |
258 | 259 | 1 | 1 | Ward, Miss. Anna | female | 35.0 | 0 | 0 | PC 17755 | 512.3292 | NaN | C |
737 | 738 | 1 | 1 | Lesurer, Mr. Gustave J | male | 35.0 | 0 | 0 | PC 17755 | 512.3292 | B101 | C |
438 | 439 | 0 | 1 | Fortune, Mr. Mark | male | 64.0 | 1 | 4 | 19950 | 263.0000 | C23 C25 C27 | S |
341 | 342 | 1 | 1 | Fortune, Miss. Alice Elizabeth | female | 24.0 | 3 | 2 | 19950 | 263.0000 | C23 C25 C27 | S |
88 | 89 | 1 | 1 | Fortune, Miss. Mabel Helen | female | 23.0 | 3 | 2 | 19950 | 263.0000 | C23 C25 C27 | S |
27 | 28 | 0 | 1 | Fortune, Mr. Charles Alexander | male | 19.0 | 3 | 2 | 19950 | 263.0000 | C23 C25 C27 | S |
742 | 743 | 1 | 1 | Ryerson, Miss. Susan Parker "Suzette" | female | 21.0 | 2 | 2 | PC 17608 | 262.3750 | B57 B59 B63 B66 | C |
311 | 312 | 1 | 1 | Ryerson, Miss. Emily Borie | female | 18.0 | 2 | 2 | PC 17608 | 262.3750 | B57 B59 B63 B66 | C |
299 | 300 | 1 | 1 | Baxter, Mrs. James (Helene DeLaudeniere Chaput) | female | 50.0 | 0 | 1 | PC 17558 | 247.5208 | B58 B60 | C |
118 | 119 | 0 | 1 | Baxter, Mr. Quigg Edmond | male | 24.0 | 0 | 1 | PC 17558 | 247.5208 | B58 B60 | C |
380 | 381 | 1 | 1 | Bidois, Miss. Rosalie | female | 42.0 | 0 | 0 | PC 17757 | 227.5250 | NaN | C |
716 | 717 | 1 | 1 | Endres, Miss. Caroline Louise | female | 38.0 | 0 | 0 | PC 17757 | 227.5250 | C45 | C |
700 | 701 | 1 | 1 | Astor, Mrs. John Jacob (Madeleine Talmadge Force) | female | 18.0 | 1 | 0 | PC 17757 | 227.5250 | C62 C64 | C |
557 | 558 | 0 | 1 | Robbins, Mr. Victor | male | NaN | 0 | 0 | PC 17757 | 227.5250 | NaN | C |
527 | 528 | 0 | 1 | Farthing, Mr. John | male | NaN | 0 | 0 | PC 17483 | 221.7792 | C95 | S |
377 | 378 | 0 | 1 | Widener, Mr. Harry Elkins | male | 27.0 | 0 | 2 | 113503 | 211.5000 | C82 | C |
779 | 780 | 1 | 1 | Robert, Mrs. Edward Scott (Elisabeth Walton Mc... | female | 43.0 | 0 | 1 | 24160 | 211.3375 | B3 | S |
730 | 731 | 1 | 1 | Allen, Miss. Elisabeth Walton | female | 29.0 | 0 | 0 | 24160 | 211.3375 | B5 | S |
689 | 690 | 1 | 1 | Madill, Miss. Georgette Alexandra | female | 15.0 | 0 | 1 | 24160 | 211.3375 | B5 | S |
【思考】排序后,如果我们仅仅关注年龄和票价两列。根据常识我知道发现票价越高的应该客舱越好,所以我们会明显看出,票价前20的乘客中存活的有14人,这是相当高的一个比例,那么我们后面是不是可以进一步分析一下票价和存活之间的关系,年龄和存活之间的关系呢?当你开始发现数据之间的关系了,数据分析就开始了。
多做几个数据的排序
df.sort_values(by=[ '年龄']).head(20)
乘客ID | 是否幸存 | 仓位等级 | 姓名 | 性别 | 年龄 | 兄弟姐妹个数 | 父母子女个数 | 船票信息 | 票价 | 客舱 | 登船港口 | |
---|---|---|---|---|---|---|---|---|---|---|---|---|
803 | 804 | 1 | 3 | Thomas, Master. Assad Alexander | male | 0.42 | 0 | 1 | 2625 | 8.5167 | NaN | C |
755 | 756 | 1 | 2 | Hamalainen, Master. Viljo | male | 0.67 | 1 | 1 | 250649 | 14.5000 | NaN | S |
644 | 645 | 1 | 3 | Baclini, Miss. Eugenie | female | 0.75 | 2 | 1 | 2666 | 19.2583 | NaN | C |
469 | 470 | 1 | 3 | Baclini, Miss. Helene Barbara | female | 0.75 | 2 | 1 | 2666 | 19.2583 | NaN | C |
78 | 79 | 1 | 2 | Caldwell, Master. Alden Gates | male | 0.83 | 0 | 2 | 248738 | 29.0000 | NaN | S |
831 | 832 | 1 | 2 | Richards, Master. George Sibley | male | 0.83 | 1 | 1 | 29106 | 18.7500 | NaN | S |
305 | 306 | 1 | 1 | Allison, Master. Hudson Trevor | male | 0.92 | 1 | 2 | 113781 | 151.5500 | C22 C26 | S |
827 | 828 | 1 | 2 | Mallet, Master. Andre | male | 1.00 | 0 | 2 | S.C./PARIS 2079 | 37.0042 | NaN | C |
381 | 382 | 1 | 3 | Nakid, Miss. Maria ("Mary") | female | 1.00 | 0 | 2 | 2653 | 15.7417 | NaN | C |
164 | 165 | 0 | 3 | Panula, Master. Eino Viljami | male | 1.00 | 4 | 1 | 3101295 | 39.6875 | NaN | S |
183 | 184 | 1 | 2 | Becker, Master. Richard F | male | 1.00 | 2 | 1 | 230136 | 39.0000 | F4 | S |
386 | 387 | 0 | 3 | Goodwin, Master. Sidney Leonard | male | 1.00 | 5 | 2 | CA 2144 | 46.9000 | NaN | S |
172 | 173 | 1 | 3 | Johnson, Miss. Eleanor Ileen | female | 1.00 | 1 | 1 | 347742 | 11.1333 | NaN | S |
788 | 789 | 1 | 3 | Dean, Master. Bertram Vere | male | 1.00 | 1 | 2 | C.A. 2315 | 20.5750 | NaN | S |
642 | 643 | 0 | 3 | Skoog, Miss. Margit Elizabeth | female | 2.00 | 3 | 2 | 347088 | 27.9000 | NaN | S |
7 | 8 | 0 | 3 | Palsson, Master. Gosta Leonard | male | 2.00 | 3 | 1 | 349909 | 21.0750 | NaN | S |
530 | 531 | 1 | 2 | Quick, Miss. Phyllis May | female | 2.00 | 1 | 1 | 26360 | 26.0000 | NaN | S |
297 | 298 | 0 | 1 | Allison, Miss. Helen Loraine | female | 2.00 | 1 | 2 | 113781 | 151.5500 | C22 C26 | S |
824 | 825 | 0 | 3 | Panula, Master. Urho Abraham | male | 2.00 | 4 | 1 | 3101295 | 39.6875 | NaN | S |
205 | 206 | 0 | 3 | Strom, Miss. Telma Matilda | female | 2.00 | 0 | 1 | 347054 | 10.4625 | G6 | S |
年龄最小的20的乘客中存活的有13人。
df.sort_values(by=['性别']).head(20) # 非数值数据 但也能大致看出女性存活率较高
乘客ID | 是否幸存 | 仓位等级 | 姓名 | 性别 | 年龄 | 兄弟姐妹个数 | 父母子女个数 | 船票信息 | 票价 | 客舱 | 登船港口 | |
---|---|---|---|---|---|---|---|---|---|---|---|---|
383 | 384 | 1 | 1 | Holverson, Mrs. Alexander Oskar (Mary Aline To... | female | 35.0 | 1 | 0 | 113789 | 52.0000 | NaN | S |
218 | 219 | 1 | 1 | Bazzani, Miss. Albina | female | 32.0 | 0 | 0 | 11813 | 76.2917 | D15 | C |
609 | 610 | 1 | 1 | Shutes, Miss. Elizabeth W | female | 40.0 | 0 | 0 | PC 17582 | 153.4625 | C125 | S |
216 | 217 | 1 | 3 | Honkanen, Miss. Eliina | female | 27.0 | 0 | 0 | STON/O2. 3101283 | 7.9250 | NaN | S |
215 | 216 | 1 | 1 | Newell, Miss. Madeleine | female | 31.0 | 1 | 0 | 35273 | 113.2750 | D36 | C |
608 | 609 | 1 | 2 | Laroche, Mrs. Joseph (Juliette Marie Louise La... | female | 22.0 | 1 | 2 | SC/Paris 2123 | 41.5792 | NaN | C |
750 | 751 | 1 | 2 | Wells, Miss. Joan | female | 4.0 | 1 | 1 | 29103 | 23.0000 | NaN | S |
211 | 212 | 1 | 2 | Cameron, Miss. Clear Annie | female | 35.0 | 0 | 0 | F.C.C. 13528 | 21.0000 | NaN | S |
747 | 748 | 1 | 2 | Sinkkonen, Miss. Anna | female | 30.0 | 0 | 0 | 250648 | 13.0000 | NaN | S |
402 | 403 | 0 | 3 | Jussila, Miss. Mari Aina | female | 21.0 | 1 | 0 | 4137 | 9.8250 | NaN | S |
208 | 209 | 1 | 3 | Carr, Miss. Helen "Ellen" | female | 16.0 | 0 | 0 | 367231 | 7.7500 | NaN | Q |
754 | 755 | 1 | 2 | Herman, Mrs. Samuel (Jane Laver) | female | 48.0 | 1 | 2 | 220845 | 65.0000 | NaN | S |
458 | 459 | 1 | 2 | Toomey, Miss. Ellen | female | 50.0 | 0 | 0 | F.C.C. 13531 | 10.5000 | NaN | S |
205 | 206 | 0 | 3 | Strom, Miss. Telma Matilda | female | 2.0 | 0 | 1 | 347054 | 10.4625 | G6 | S |
641 | 642 | 1 | 1 | Sagesser, Mlle. Emma | female | 24.0 | 0 | 0 | PC 17477 | 69.3000 | B35 | C |
345 | 346 | 1 | 2 | Brown, Miss. Amelia "Mildred" | female | 24.0 | 0 | 0 | 248733 | 13.0000 | F33 | S |
346 | 347 | 1 | 2 | Smith, Miss. Marion Elsie | female | 40.0 | 0 | 0 | 31418 | 13.0000 | NaN | S |
457 | 458 | 1 | 1 | Kenyon, Mrs. Frederick R (Marion) | female | NaN | 1 | 0 | 17464 | 51.8625 | D21 | S |
759 | 760 | 1 | 1 | Rothes, the Countess. of (Lucy Noel Martha Dye... | female | 33.0 | 0 | 0 | 110152 | 86.5000 | B77 | S |
610 | 611 | 0 | 3 | Andersson, Mrs. Anders Johan (Alfrida Konstant... | female | 39.0 | 1 | 5 | 347082 | 31.2750 | NaN | S |
1.6.3 任务三:利用Pandas进行算术计算,计算两个DataFrame数据相加结果
# 具体请看《利用Python进行数据分析》第五章 算术运算与数据对齐 部分
#自己构建两个都为数字的DataFrame数据
frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3),
columns=['a', 'b', 'c'],
index=['one', 'two', 'three'])
frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3),
columns=['a', 'e', 'c'],
index=['first', 'one', 'two', 'second'])
print(frame1_a)
print(frame1_b)
a b c
one 0.0 1.0 2.0
two 3.0 4.0 5.0
three 6.0 7.0 8.0
a e c
first 0.0 1.0 2.0
one 3.0 4.0 5.0
two 6.0 7.0 8.0
second 9.0 10.0 11.0
将frame_a和frame_b进行相加
frame1_a+frame1_b
a | b | c | e | |
---|---|---|---|---|
first | NaN | NaN | NaN | NaN |
one | 3.0 | NaN | 7.0 | NaN |
second | NaN | NaN | NaN | NaN |
three | NaN | NaN | NaN | NaN |
two | 9.0 | NaN | 13.0 | NaN |
【提醒】两个DataFrame相加后,会返回一个新的DataFrame,对应的行和列的值会相加,没有对应的会变成空值NaN
。
当然,DataFrame还有很多算术运算,如减法,除法等,有兴趣的同学可以看《利用Python进行数据分析》第五章 算术运算与数据对齐 部分,多在网络上查找相关学习资料。
1.6.4 任务四:通过泰坦尼克号数据如何计算出在船上最大的家族有多少人?
'''
如果我们想看看在船上,最大的家族有多少人(‘兄弟姐妹个数’+‘父母子女个数’)
'''
max(df.兄弟姐妹个数+df.父母子女个数)
10
1.6.6 任务六:分别看看泰坦尼克号数据集中 票价、父母子女 这列数据的基本统计数据,你能发现什么?
'''
count : 样本数据大小
mean : 样本数据的平均值
std : 样本数据的标准差
min : 样本数据的最小值
25% : 样本数据25%的时候的值
50% : 样本数据50%的时候的值
75% : 样本数据75%的时候的值
max : 样本数据的最大值
'''
df.describe()
df['票价'].describe()
count 891.000000
mean 32.204208
std 49.693429
min 0.000000
25% 7.910400
50% 14.454200
75% 31.000000
max 512.329200
Name: 票价, dtype: float64
多做几个组数据的统计,看看你能分析出什么?
family = df.兄弟姐妹个数+df.父母子女个数
df.insert(6,'家庭人口数', family)
df.sort_values(by=["家庭人口数"],ascending = False).head(20)
乘客ID | 是否幸存 | 仓位等级 | 姓名 | 性别 | 年龄 | 家庭人口数 | 兄弟姐妹个数 | 父母子女个数 | 船票信息 | 票价 | 客舱 | 登船港口 | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
180 | 181 | 0 | 3 | Sage, Miss. Constance Gladys | female | NaN | 10 | 8 | 2 | CA. 2343 | 69.5500 | NaN | S |
846 | 847 | 0 | 3 | Sage, Mr. Douglas Bullen | male | NaN | 10 | 8 | 2 | CA. 2343 | 69.5500 | NaN | S |
792 | 793 | 0 | 3 | Sage, Miss. Stella Anna | female | NaN | 10 | 8 | 2 | CA. 2343 | 69.5500 | NaN | S |
201 | 202 | 0 | 3 | Sage, Mr. Frederick | male | NaN | 10 | 8 | 2 | CA. 2343 | 69.5500 | NaN | S |
159 | 160 | 0 | 3 | Sage, Master. Thomas Henry | male | NaN | 10 | 8 | 2 | CA. 2343 | 69.5500 | NaN | S |
863 | 864 | 0 | 3 | Sage, Miss. Dorothy Edith "Dolly" | female | NaN | 10 | 8 | 2 | CA. 2343 | 69.5500 | NaN | S |
324 | 325 | 0 | 3 | Sage, Mr. George John Jr | male | NaN | 10 | 8 | 2 | CA. 2343 | 69.5500 | NaN | S |
386 | 387 | 0 | 3 | Goodwin, Master. Sidney Leonard | male | 1.0 | 7 | 5 | 2 | CA 2144 | 46.9000 | NaN | S |
59 | 60 | 0 | 3 | Goodwin, Master. William Frederick | male | 11.0 | 7 | 5 | 2 | CA 2144 | 46.9000 | NaN | S |
678 | 679 | 0 | 3 | Goodwin, Mrs. Frederick (Augusta Tyler) | female | 43.0 | 7 | 1 | 6 | CA 2144 | 46.9000 | NaN | S |
683 | 684 | 0 | 3 | Goodwin, Mr. Charles Edward | male | 14.0 | 7 | 5 | 2 | CA 2144 | 46.9000 | NaN | S |
480 | 481 | 0 | 3 | Goodwin, Master. Harold Victor | male | 9.0 | 7 | 5 | 2 | CA 2144 | 46.9000 | NaN | S |
71 | 72 | 0 | 3 | Goodwin, Miss. Lillian Amy | female | 16.0 | 7 | 5 | 2 | CA 2144 | 46.9000 | NaN | S |
119 | 120 | 0 | 3 | Andersson, Miss. Ellis Anna Maria | female | 2.0 | 6 | 4 | 2 | 347082 | 31.2750 | NaN | S |
610 | 611 | 0 | 3 | Andersson, Mrs. Anders Johan (Alfrida Konstant... | female | 39.0 | 6 | 1 | 5 | 347082 | 31.2750 | NaN | S |
261 | 262 | 1 | 3 | Asplund, Master. Edvin Rojj Felix | male | 3.0 | 6 | 4 | 2 | 347077 | 31.3875 | NaN | S |
233 | 234 | 1 | 3 | Asplund, Miss. Lillian Gertrud | female | 5.0 | 6 | 4 | 2 | 347077 | 31.3875 | NaN | S |
813 | 814 | 0 | 3 | Andersson, Miss. Ebba Iris Alfrida | female | 6.0 | 6 | 4 | 2 | 347082 | 31.2750 | NaN | S |
68 | 69 | 1 | 3 | Andersson, Miss. Erna Alexandra | female | 17.0 | 6 | 4 | 2 | 3101281 | 7.9250 | NaN | S |
25 | 26 | 1 | 3 | Asplund, Mrs. Carl Oscar (Selma Augusta Emilia... | female | 38.0 | 6 | 1 | 5 | 347077 | 31.3875 | NaN | S |
票价越高,年龄越小存活率相对越高,家庭总人数越多,存活率相对较低。
【总结】本节中我们通过Pandas的一些内置函数对数据进行了初步统计查看,这个过程最重要的不是大家得掌握这些函数,而是看懂从这些函数出来的数据,构建自己的数据分析思维,这也是第一章最重要的点,希望大家学完第一章能对数据有个基本认识,了解自己在做什么,为什么这么做,后面的章节我们将开始对数据进行清洗,进一步分析。