主要目的是通过真实的数据,以实战的方式了解数据分析的流程和熟悉数据分析python的基本操作。通过正式的数据分析的实战教学,完成kaggle上泰坦尼克的任务,实战数据分析全流程。
分为三个部分,大致可以分为:数据基础操作,数据清洗与重构,建模和评估。
- 第一部分:我们获得一个要分析的数据,我要学会如何加载数据,查看数据,然后学习Pandas的一些基础操作,最后开始尝试探索性的数据分析。
- 第二部分:当我们可以比较熟练的操作数据并认识这个数据之后,我们需要开始数据清洗以及重构,将原始数据变为一个可用好用的数据,为之后放入模型做准备
- 第三部分:我们根据任务需求不同,要考虑建立什么模型,我们使用流行的sklearn库,建立模型。对于一个模型的好坏,我们是需要评估的,之后我们会评估我们的模型,对模型做优化。
1 数据载入及初步观察
1.1 载入数据
数据集下载 https://www.kaggle.com/c/titanic/overview
1.1.1 任务一:导入numpy和pandas
#写入代码
import pandas as pd
import numpy as np
【提示】如果加载失败,学会如何在你的python环境下安装numpy和pandas这两个库
1.1.2 任务二:载入数据
(1) 使用相对路径载入数据
(2) 使用绝对路径载入数据
#写入代码
data=pd.read_csv('train.csv')
data.head(5)
#写入代码
data=pd.read_csv(r'C:\Users\87479\Desktop\my_data_analysis\第一章项目集合\train.csv')
data.head(5)
【提示】相对路径载入报错时,尝试使用os.getcwd()查看当前工作目录。
【总结】加载的数据是所有工作的第一步,我们的工作会接触到不同的数据格式(eg:.csv;.tsv;.xlsx),但是加载的方法和思路都是一样的,在以后工作和做项目的过程中,遇到之前没有碰到的问题,要多多查资料,使用googel,了解业务逻辑,明白输入和输出是什么。
1.1.3 任务三:每1000行为一个数据模块,逐块读取
#写入代码
#设置chunksize参数,来控制每次迭代数据的大小
chunker = pd.read_csv("train.csv",chunksize=1000)
for piece in chunker:
print(type(piece))
#<class 'pandas.core.frame.DataFrame'>
print(len(piece))
#891
【思考】什么是逐块读取?为什么要逐块读取呢?
当我们处理大型文件的时候,读入文件的一个小片段或者按小块遍历文件是比较好的做法
1.1.4 任务四:将表头改成中文,索引改为乘客ID (对于某些英文资料,我们可以通过翻译来更直观的熟悉我们的数据)
PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别
Age => 年龄
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息
Fare => 票价
Cabin => 客舱
Embarked => 登船港口
#写入代码
data.rename(columns={'PassengerId':'乘客ID','Survived':'是否幸存','Pclass':'乘客等级(1/2/3等舱位)',
'Name':'乘客姓名','Sex':'性别','Age':'年龄','SibSp':'堂兄弟/妹个数','Parch':'父母与小孩个数','Ticket':'船票信息',
'Fare':'票价','Cabin':'客舱','Embarked':'登船港口'},inplace=True)
data.head(5)
【思考】所谓将表头改为中文其中一个思路是:将英文列名表头替换成中文。还有其他的方法吗?
1.2 初步观察
导入数据后,你可能要对数据的整体结构和样例进行概览,比如说,数据大小、有多少列,各列都是什么格式的,是否包含null等
1.2.1 任务一:查看数据的基本信息
#写入代码
# 查看每列的类型,dataframe的属性dtypes可以返回表示每列数据名称及类型的列表:
print(data.dtypes)
# 获取每列数据的统计特征(eg:总行数,列数据的平均值、标准差,etc)
# 使用:dataframe.describe()即可查看每列数据的
'''
(1)总行数统计count
(2)平均值mean
(3)标准差std
(4)最小值min
(5)25%分位值“25%”
(6)50%分位值“50%”
(7)75%分位值“75%”
(8)最大值max
'''
data.describe()
'''
注意:方法describe()只统计(没有任何参数的情况下)数据类型(numeric-typed数据类型,例如int,float等)列的统计特征,并且会自动NaN值。
如果我们想查看所有列的统计特征(即包括非数据类型的列,例如object类型的列),就需要在describe()方法中添加参数(include = “all”)
'''
data.describe(include='all')
'''
获取指定列的统计学特征
使用如下语句:
dataframe[[‘column1’, ‘column2’, ‘column3’]].describe()
'''
data[['乘客ID','年龄']].describe()
'''
使用方法info()来查看dataframe的简介描述
使用如下语句:
dataframe.info()
此方法打印有关dataframe的信息,包括索引dtype和列、非空值和内存使用情况。
'''
data.info()
'''
查看数据的行数及列数
通过属性shape,获取数据集的(行数,列数)
'''
print(data.shape)
'''
是否包含null
'''
print(data.isnull())
1.2.2 任务二:观察表格前10行的数据和后15行的数据
#写入代码
data.head(10)
#写入代码
data.tail(15)
1.2.3 任务三:判断数据是否为空,为空的地方返回True,其余地方返回False
#写入代码
'''
1、判断数值是否为空,可以用pd.isna,pd.isnull,np.isnan;
2、判断字符串是否为空,可以用pd.isna,pd.isnull;
3、判断时间是否为空,可以用pd.isna,pd.isnull,np.isnat;
4、判断转换类型后的字符串,空值也转换成了字符串nan,所以不能用常规方法判断了,直接判断字符串是否相等即可。
'''
data.isnull().head(20)
# data.isna()
【总结】上面的操作都是数据分析中对于数据本身的观察
1.3 保存数据
1.3.1 任务一:将你加载并做出改变的数据,在工作目录下保存为一个新文件train_chinese.csv
#写入代码
#注意:不同的操作系统保存下来可能会有乱码。大家可以加入encoding='GBK' 或者 encoding = 'utf-8'
data.to_csv('train_chinese.csv')
df=pd.read_csv('train_chinese.csv')
df.head(5)
【总结】数据的加载以及入门,接下来就要接触数据本身的运算,我们将主要掌握numpy和pandas在工作和项目场景的运用。
总结: 数据分析的第一步,加载数据我们已经学习完毕了。当数据展现在我们面前的时候,我们所要做的第一步就是认识他,今天我们要学习的就是了解字段含义以及初步观察数据。
2 Pandas基础
1.4 知道你的数据叫什么
我们学习pandas的基础操作,那么上一节通过pandas加载之后的数据,其数据类型是什么呢?
开始前导入numpy和pandas
import numpy as np
import pandas as pd
1.4.1 任务一:pandas中有两个数据类型DateFrame和Series,通过查找简单了解他们。然后自己写一个关于这两个数据类型的小例子🌰[开放题]
#写入代码
'''
维数 名称 描述
1 Series 带标签的一维同构数组
2 DataFrame 带标签的,大小可变的,二维异构表格
#为什么有多个数据结构?
Pandas 数据结构就像是低维数据的容器。比如,DataFrame 是 Series 的容器,Series 则是标量的容器。使用这种方式,可以在容器中以字典的形式插入或删除对象。
'''
sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000}
example_1 = pd.Series(sdata)
print(example_1)
data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],
'year': [2000, 2001, 2002, 2001, 2002, 2003],'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}
example_2 = pd.DataFrame(data)
print(example_2)
1.4.2 任务二:根据上节课的方法载入"train.csv"文件
#写入代码
data=pd.read_csv('train.csv')
1.4.3 任务三:查看DataFrame数据的每列的名称
#写入代码
# 现在有一个dataframe对象df1,查看索引使用使用df1.index,查看列名使用df1.columns,查看所有的值为df1.values。
# print(list(data))
data.columns
1.4.4 任务四:查看"Cabin"这列的所有值[有多种方法]
#写入代码
data['Cabin']
#写入代码
data.Cabin
1.4.5 任务五:加载文件"test_1.csv",然后对比"train.csv",看看有哪些多出的列,然后将多出的列删除
经过我们的观察发现一个测试集test_1.csv有一列是多余的,我们需要将这个多余的列删去
#写入代码
data1=pd.read_csv('test_1.csv')
data1.head(5)
#写入代码
del data1['a']
data1.head(5)
【思考】还有其他的删除多余的列的方式吗?
# # 思考回答
# import datacompy
# compare = datacompy.Compare(data, data1)
# # Compare 参数:
# # df1: 数据框1
# # df2: 数据框2
# # join_columns: 指定索引的列名,默认“None”,可以传入数组,比如:['key', 'AdID']
# # on_index: 是否要开启索引,开启之后不需要指定 join_columns,默认“False”
# # abs_tol: 绝对公差,默认“0”
# # rel_tal: 相对公差,默认“0”
# # df1_name: 报告中数据框1的名字,默认“df1”
# # df2_name: 报告中数据框2的名字,默认“df2”
# # ignore_spaces: 是否忽略空格,默认“False”
# # ignore_case: 是否忽略大小写,默认“False”
# print(compare.matches()) # 最后判断是否相等,返回 bool
# print(compare.report()) # 打印报告详情,返回 string
# # print(compare.sample_mismatch('用户数')) # 取出不相同的某一列数据,返回 dataframe
1.4.6 任务六: 将[‘PassengerId’,‘Name’,‘Age’,‘Ticket’]这几个列元素隐藏,只观察其他几个列元素
#写入代码
'''
DataFrame.drop(labels=None, axis=0, index=None, columns=None, level=None, inplace=False, errors='raise')
这是drop函数的所有参数
labels是指要删除的标签,一个或者是列表形式的多个,axis是指处哪一个轴,columns是指某一列或者多列,level是指等级,针对多重索引的情况,inplaces是否替换原来的dataframe
'''
data.drop(['PassengerId','Name','Age','Ticket'],axis=1).head(5)
# data.head(5)
【思考】对比任务五和任务六,是不是使用了不一样的方法(函数),如果使用一样的函数如何完成上面的不同的要求呢?
【思考回答】
如果想要完全的删除你的数据结构,使用inplace=True,因为使用inplace就将原数据覆盖了,所以这里只是单纯的隐藏
1.5 筛选的逻辑
表格数据中,最重要的一个功能就是要具有可筛选的能力,选出我所需要的信息,丢弃无用的信息。
下面我们还是用实战来学习pandas这个功能。
1.5.1 任务一: 我们以"Age"为筛选条件,显示年龄在10岁以下的乘客信息。
#写入代码
data[data['Age']<10].head(5)
1.5.2 任务二: 以"Age"为条件,将年龄在10岁以上和50岁以下的乘客信息显示出来,并将这个数据命名为midage
#写入代码
midage=data[(data['Age']>10) & (data['Age']<50)] #此时的索引已经不连续了,需要重置索引
midage.head(100)
【提示】了解pandas的条件筛选方式以及如何使用交集和并集操作
1.5.3 任务三:将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来
#写入代码
'''
此时DataFrame或Series类型的数据不再是连续的索引,可以使用reset_index()重置索引。
'''
midage = midage.reset_index(drop=True)
midage.head(100)
midage.loc[[100],['Pclass','Sex']]
1.5.4 任务四:使用loc方法将midage的数据中第100,105,108行的"Pclass","Name"和"Sex"的数据显示出来
#写入代码
midage.loc[[100,105,108],['Pclass','Name','Sex']]
# midage.loc[[100,105,108],'Pclass':'Sex'] #相同写法
1.5.5 任务五:使用iloc方法将midage的数据中第100,105,108行的"Pclass","Name"和"Sex"的数据显示出来
#写入代码
midage.iloc[[100,105,108],[2,3,4]]
【思考】对比iloc
和loc
的异同
- loc函数主要基于行标签和列标签(x_label、y_label)进行索引:使用loc函数,索引的是字符串,前后都要取,是属于“前闭后闭”的情况
- iloc函数主要基于行索引和列索引(index,columns) 都是从 0 开始:而且,iloc函数索引的数据是int整型,因此是Python默认的前闭后开。注意只能说int型,也就是数字,输入字符的话是会报错的。(注意索引都是默认从0开始的),而且传入的必须是一个列表
总结: 在前面我们已经学习了Pandas基础,知道利用Pandas读取csv数据的增删查改,今天我们要学习的就是探索性数据分析,主要介绍如何利用Pandas进行排序、算术计算以及计算描述函数describe()的使用。
3 探索性数据分析
开始之前,导入numpy、pandas包和数据
#加载所需的库
import numpy as np
import pandas as pd
#载入之前保存的train_chinese.csv数据,关于泰坦尼克号的任务,我们就使用这个数据
data=pd.read_csv('train_chinese.csv')
data.head(5)
1.6 了解你的数据吗?
1.6.1 任务一:利用Pandas对示例数据进行排序,要求升序
#自己构建一个都为数字的DataFrame数据
'''
我们举了一个例子
pd.DataFrame() :创建一个DataFrame对象
np.arange(8).reshape((2, 4)) : 生成一个二维数组(2*4),第一列:0,1,2,3 第二列:4,5,6,7
index=[2,1] :DataFrame 对象的索引列
columns=['d', 'a', 'b', 'c'] :DataFrame 对象的索引行
'''
data1=np.arange(8).reshape((2,4))
# print(data)
index=[2,1]
columns=['d','a','b','c']
df=pd.DataFrame(data=data1,index=index,columns=columns)
df.head(2)
【代码解析】
pd.DataFrame() :创建一个DataFrame对象
np.arange(8).reshape((2, 4)) : 生成一个二维数组(2*4),第一列:0,1,2,3 第二列:4,5,6,7
index=['2, 1] :DataFrame 对象的索引列
columns=[‘d’, ‘a’, ‘b’, ‘c’] :DataFrame 对象的索引行
【问题】:大多数时候我们都是想根据列的值来排序,所以将你构建的DataFrame中的数据根据某一列,升序排列
#回答代码
'''
升序排列是把数据从小到大进行排列,而降序排列是把数据从大到小进行排列
DataFrame.sort_values(by, ascending=True, inplace=Flase )
参数说明:
by: 字符串或者List<字符串>,单列排序或者多列排序
ascending:bool或者list,升序还是降序,如果是list对应by的多列 默认为True升序排序,为False降序排序
inplace:是否修改原始的DataFrame
'''
df.sort_values(by='a',ascending=True).head(2)
【总结】下面将不同的排序方式做一个总结
1.让行索引升序排序
#代码
'''
axis=0代表往跨行(down),而axis=1代表跨列(across)
使用0值表示沿着每一列或行标签/索引值向下执行方法
使用1值表示沿着每一行或者列标签横向执行对应的方法
'''
df.sort_index(axis=0,ascending=True).head(2)
axis的理解
2.让列索引升序排序
#代码
df.sort_index(axis=1,ascending=True).head(2)
3.让列索引降序排序
#代码
df.sort_index(axis=1,ascending=False).head(2)
4.让任选两列数据同时降序排序
#代码
df.sort_values(by=['a','c'],ascending=False).head(2)
1.6.2 任务二:对泰坦尼克号数据(trian.csv)按票价和年龄两列进行综合排序(降序排列),从这个数据中你可以分析出什么?
#代码
# data.sort_values(by=['年龄','票价'],ascending=False).head(20)
data.sort_values(by=['票价', '年龄'], ascending=False).head(20)
【思考】排序后,如果我们仅仅关注年龄和票价两列。根据常识我知道发现票价越高的应该客舱越好,所以我们会明显看出,票价前20的乘客中存活的有14人,这是相当高的一个比例,那么我们后面是不是可以进一步分析一下票价和存活之间的关系,年龄和存活之间的关系呢?当你开始发现数据之间的关系了,数据分析就开始了。
对于多列排序的理解
d = {'A': [3, 6, 6, 7, 9], 'B': [2, 5, 8, 0, 0]}
df = pd.DataFrame(data=d)
print('排序前:\n', df)
'''
排序前:
A B
0 3 2
1 6 5
2 6 8
3 7 0
4 9 0
'''
res = df.sort_values(by=['A', 'B'], ascending=[False, True])
print('按照A列B列的值排序:\n', res)
'''
按照A列B列的值排序:
A B
4 9 0
3 7 0
1 6 5
2 6 8
0 3 2
'''
多列排序首先按照by[]列表和ascending[]列表中的对应顺序和对应逻辑进行排序,首先by列表的第一个列标签根据其在ascending列表的对应逻辑进行排序,其次再用by列表第二个列标签及其ascending列表的对应逻辑进行排序,以此类推。
多做几个数据的排序
#代码
data.sort_values(by=['年龄']).head(20)
年龄小的孩子大部分也都存活了,看来灾难发生时大家让孩子们先上了救生船
1.6.3 任务三:利用Pandas进行算术计算,计算两个DataFrame数据相加结果
#自己构建两个都为数字的DataFrame数据
#代码
frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3),
columns=['a', 'b', 'c'],
index=['one', 'two', 'three'])
frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3),
columns=['a', 'e', 'c'],
index=['first', 'one', 'two', 'second'])
print(frame1_a.head())
print(frame1_b.head())
将frame_a和frame_b进行相加
#代码
df3=frame1_a.add(frame1_b) #fill_value=0用来定义对空值使用0填充
df3.head()
将frame_a和frame_b进行相加,如果使用了fill_value=0用来定义对空值使用0填充(只要有一个对应位置的数据就会有值,除非相加的表中一个都找不到,比如frist b 在两个表中都无法找到对应的值,所以只能是NaN)
#代码
df3=frame1_a.add(frame1_b,fill_value=0) #fill_value=0用来定义对空值使用0填充
df3.head()
【提醒】两个DataFrame相加后,会返回一个新的DataFrame,对应的行和列的值会相加,没有对应的会变成空值NaN。
1.6.4 任务四:通过泰坦尼克号数据如何计算出在船上最大的家族有多少人?
#代码
result=data['堂兄弟/妹个数'].add(data['父母与小孩个数'],fill_value=0)
# max(data)
max(result)
# data['堂兄弟/妹个数'].head(10)
10
1.6.5 任务五:学会使用Pandas describe()函数查看数据基本统计信息
#代码
frame2 = pd.DataFrame([[1.4, np.nan],
[7.1, -4.5],
[np.nan, np.nan],
[0.75, -1.3]
], index=['a', 'b', 'c', 'd'], columns=['one', 'two'])
frame2
调用 describe 函数,观察frame2的数据基本信息
#代码
frame2.describe()
1.6.6 任务六:分别看看泰坦尼克号数据集中 票价、父母子女 这列数据的基本统计数据,你能发现什么?
'''
看看泰坦尼克号数据集中 票价 这列数据的基本统计数据
'''
#代码
data['票价'].describe()
【总结】本节中我们通过Pandas的一些内置函数对数据进行了初步统计查看,这个过程最重要的不是大家得掌握这些函数,而是看懂从这些函数出来的数据,构建自己的数据分析思维,这也是第一章最重要的点,希望大家学完第一章能对数据有个基本认识,了解自己在做什么,为什么这么做,后面的章节我们将开始对数据进行清洗,进一步分析。