kaggle实战—泰坦尼克（一、数据分析）

最新推荐文章于 2025-03-19 17:53:33 发布

浩波的笔记

最新推荐文章于 2025-03-19 17:53:33 发布

阅读量4.1k

点赞数 6

分类专栏： python 数据分析文章标签：数据分析大数据 python

本文链接：https://blog.csdn.net/weixin_44023658/article/details/108112725

版权

python 同时被 2 个专栏收录

31 篇文章

订阅专栏

数据分析

14 篇文章

订阅专栏

前言

相信大家都有队pandas，numpy等数据科学库有一定了解，其中不乏有很多人有专门刷过相关课程或者看多相关书籍，例如《python for data analysis》。但是在实操过程中有很多函数还是得看着官方文档来进行敲写，既费时又费力。最近刚好datawhale发起一个相关打卡活动——实战，我就报名参加了。（ps：极力推荐这本书，大家可以去网上搜索电子版，或者也可以关注微信公众【浩波的笔记】回复data analysis来获取。）

这次实践又比较偏模型和实战（完成kaggle上泰坦尼克的任务），直接给你一个任务，让你去完成，上手难度比较大，但是它的实战性可以让你对于什么是数据挖掘，以及数据挖掘的逻辑有很好的把握。所以有没有这样一门课，以项目为主线，将知识点孕育其中，通过边学，边做以及边被引导的方式来使学习效果达到更好，学完之后既能掌握pandas等的知识点又能掌握数据分析的大致思路和流程。通过调查发现，市面上这样的目好像没有可以完全符合这样的标准（失望.jpg）。

安排（对应三篇博客）：

第一部分：我们获得一个要分析的数据，我要学会如何加载数据，查看数据，然后学习Pandas一些基础操
作，最后开始尝试探索性的数据分析。
第二部分：当我们可以比较熟练的操作数据并认识这个数据之后，我们需要开始数据清洗以及重构，将原始数据变为一个可用好用的数据，为之后放入模型做准备
第三部分：我们根据任务需求不同，要考虑建立什么模型，我们接触流行的sklearn库，建立模型。然后一个模型的好坏，我们是需要评估的，之后我们会引入模型评估的一些改变和实现。

数据加载

项目介绍
目的: 用机器学习创建一个模型，预测哪些乘客在泰坦尼克号沉船事故中幸存下来。
在这里插入图片描述

载入数据

数据集下载 https://www.kaggle.com/c/titanic/overview

任务一：导入numpy和pandas

import numpy as np
import pandas as pd

【提示】如果加载失败，学会如何在你的python环境下安装numpy和pandas这两个库

任务二：载入数据
(1) 使用相对路径载入数据
(2) 使用绝对路径载入数据

df = pd.read_csv('E:/python-project/deep-learning/datawhale/kaggle/tantatic/hands-on-data-analysis-master/data/train.csv')
df.head(3)

在这里插入图片描述
相对路径载入报错时，尝试使用os.getcwd()查看当前工作目录。
**提示：**相对路径载入报错时，尝试使用os.getcwd()查看当前工作目录。
**思考(Q1)：**知道数据加载的方法后，试试pd.read_csv()和pd.read_table()的不同，如果想让他们效果一样，需要怎么做？了解一下’.tsv’和’.csv’的不同，如何加载这两个数据集？(所有问题在最后都会有答案，请大家自行先提前搜索）

**总结：**加载的数据是所有工作的第一步，我们的工作会接触到不同的数据格式（eg:.csv;.tsv;.xlsx）,但是加载的方法和思路都是一样的，在以后工作和做项目的过程中，遇到之前没有碰到的问题，要多多查资料吗，使用googel，了解业务逻辑，明白输入和输出是什么。

任务三：每1000行为一个数据模块，逐块读取

chunker = pd.read_csv('E:/python-project/deep-learning/datawhale/kaggle/tantatic/hands-on-data-analysis-master/data/train.csv', chunksize=1000)

思考Q2：什么是逐块读取？为什么要逐块读取呢？

任务四：将表头改成中文，索引改为乘客ID

对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据
PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别 
Age => 年龄 
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息 
Fare => 票价 
Cabin => 客舱 
Embarked => 登船港口

df = pd.read_csv('E:/python-project/deep-learning/datawhale/kaggle/tantatic/hands-on-data-analysis-master/data/train.csv', names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
df.head()

在这里插入图片描述

初步观察

导入数据后，你可能要对数据的整体结构和样例进行概览，比如说，数据大小、有多少列，各列都是什么格式的，是否包含null等

任务一：查看数据的基本信息

df.info()

在这里插入图片描述

任务二：观察表格前10行的数据和后15行的数据

在这里插入图片描述

任务三：判断数据是否为空，为空的地方返回True，其余地方返回False

总结：上面的操作都是数据分析中对于数据本身的观察

保存数据

任务一：将你加载并做出改变的数据，在工作目录下保存为一个新文件train_chinese.csv

df.to_csv('E:/python-project/deep-learning/datawhale/kaggle/tantatic/hands-on-data-analysis-master/data/train_chinese.csv')

**总结：**数据的加载以及入门，接下来就要接触数据本身的运算，我们将主要掌握numpy和pandas在工作和项目场景的运用

**复习：**数据分析的第一步，加载数据我们已经学习完毕了。当数据展现在我们面前的时候，我们所要做的第一步就是认识他，今天我们要学习的就是了解字段含义以及初步观察数据。

第一章(PART2)：pandas基础

知道你的数据叫什么

Q3：我们学习pandas的基础操作，那么上一节通过pandas加载之后的数据，其数据类型是什么呢？

任务一：pandas中有两个数据类型DateFrame和Series，通过查找简单了解他们。

import numpy as np
import pandas as pd
sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000}
example_1 = pd.Series(sdata)
example_1

在这里插入图片描述

data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],
 'year': [2000, 2001, 2002, 2001, 2002, 2003],'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}
example_2 = pd.DataFrame(data)
example_2

在这里插入图片描述
任务二：根据上节课的方法载入"train.csv"文件

df = pd.read_csv('E:/python-project/deep-learning/datawhale/kaggle/tantatic/hands-on-data-analysis-master/data/train.csv')
df.head(3)

在这里插入图片描述
任务三：查看DataFrame数据的每列的项

任务四：查看"cabin"这列的所有项[有多种方法]

任务五：加载文件"test_1.csv"，然后对比"train.csv"，看看有哪些多出的列，然后将多出的列删除

经过我们的观察发现一个测试集test_1.csv有一列是多余的，我们需要将这个多余的列删去
在这里插入图片描述

**思考Q4：**还有其他的删除多余的列的方式吗？

任务六：将[‘PassengerId’,‘Name’,‘Age’,‘Ticket’]这几个列元素隐藏，只观察其他几个列元素
在这里插入图片描述
**思考：**对比任务五和任务六，是不是使用了不一样的方法(函数)，如果使用一样的函数如何完成上面的不同的要求呢？

思考回答：
如果想要完全的删除你的数据结构，使用inplace=True，因为使用inplace就将原数据覆盖了，所以这里没有用

筛选的逻辑

表格数据中，最重要的一个功能就是要具有可筛选的能力，选出我所需要的信息，丢弃无用的信息。
下面我们还是用实战来学习pandas这个功能。

任务一：我们以"Age"为筛选条件，显示年龄在10岁以下的乘客信息。
在这里插入图片描述
任务二：以"Age"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage

提示：了解pandas的条件筛选方式以及如何使用交集和并集操作

任务三：将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来
在这里插入图片描述

思考Q5：这个reset_index()函数的作用是什么？如果不用这个函数，下面的任务会出现什么情况？

在这里插入图片描述
任务四：使用loc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

任务五：使用iloc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

**复习：**在前面我们已经学习了Pandas基础，知道利用Pandas读取csv数据的增删查改，今天我们要学习的就是探索性数据分析，主要介绍如何利用Pandas进行排序、算术计算以及计算描述函数describe()的使用。

第一章(PART3)：探索性数据分析

开始之前，导入numpy、pandas包和数据

#加载所需的库
import numpy as np
import pandas as pd
#载入之前保存的train_chinese.csv数据，关于泰坦尼克号的任务，我们就使用这个数据
text = pd.read_csv('E:/python-project/deep-learning/datawhale/kaggle/tantatic/hands-on-data-analysis-master/data/train_chinese.csv')
text.head()

在这里插入图片描述

了解你的数据吗？

教材《Python for Data Analysis》第五章

任务一：利用Pandas对示例数据进行排序，要求升序

# 具体请看《利用Python进行数据分析》第五章 排序和排名 部分
#自己构建一个都为数字的DataFrame数据
frame = pd.DataFrame(np.arange(8).reshape((2, 4)), 
 index=['2', '1'], 
 columns=['d', 'a', 'b', 'c'])
frame

在这里插入图片描述

代码解析

pd.DataFrame() ：创建一个DataFrame对象
np.arange(8).reshape((2, 4)) : 生成一个二维数组（2*4）,第一列：0，1，2，3 第二列：4，5，6，7
index=['2, 1] ：DataFrame 对象的索引列
columns=['d', 'a', 'b', 'c'] ：DataFrame 对象的索引行

在这里插入图片描述
可以看到sort_values这个函数中by参数指向要排列的列，ascending参数指向排序的方式（升序还是降序）

总结：下面将不同的排序方式做一个小总结
在这里插入图片描述
任务二：对泰坦尼克号数据（trian.csv）按票价和年龄两列进行综合排序（降序排列），从数据中你能发现什么

'''
在开始我们已经导入了train_chinese.csv数据，而且前面我们也学习了导入数据过程，根据上面学习，我们直接
对目标列进行排序即可
head(20) : 读取前20条数据
'''
text.sort_values(by=['票价', '年龄'], ascending=False).head(20)

在这里插入图片描述思考：排序后，如果我们仅仅关注年龄和票价两列。根据常识我知道发现票价越高的应该客舱越好，所以我们会明显看出，票价前20的乘客中存活的有14人，这是相当高的一个比例，那么我们后面是不是可以进一步分析一下票价和存活之间的关系，年龄和存活之间的关系呢？当你开始发现数据之间的关系了，数据分析就开始了。

任务三：利用Pandas进行算术计算，计算两个DataFrame数据相加结果

# 具体请看《利用Python进行数据分析》第五章 算术运算与数据对齐 部分
#建立一个例子
frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3),
columns=['a', 'b', 'c'],
index=['one', 'two', 'three'])
frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3),
columns=['a', 'e', 'c'],
index=['first', 'one', 'two', 'second'])
frame1_a

在这里插入图片描述

提醒：两个DataFrame相加后，会返回一个新的DataFrame，对应的行和列的值会相加，没有对应的会变成空值NaN。

当然，DataFrame还有很多算术运算，如减法，除法等，有兴趣的同学可以看《利用Python进行数据分析》第五章算术运算与数据对齐部分，多在网络上查找相关学习资料。

任务四：通过泰坦尼克号数据如何计算出在船上最大的家族有多少人？

'''
还是用之前导入的chinese_train.csv如果我们想看看在船上，最大的家族有多少人（‘兄弟姐妹个数’+‘父母子女
个数’），我们该怎么做呢？
'''
max(text['兄弟姐妹个数'] + text['父母子女个数'])

是的，如上，很简单，我们只需找出兄弟姐妹个数和父母子女个数之和最大的数就行，先让这两列相加返回一个DataFrame，然后用max函数求出最大值，当然你还可以想出很多方法和思考角度，欢迎你来说出你的看法。

任务五：学会使用Pandas describe()函数查看数据基本统计信息

#(1) 关键知识点示例做一遍（简单数据）
# 具体请看《利用Python进行数据分析》第五章 汇总和计算描述统计 部分
#建立一个例子
frame2 = pd.DataFrame([[1.4, np.nan], 
                     [7.1, -4.5],
                     [np.nan, np.nan], 
                     [0.75, -1.3]
                     ], index=['a', 'b', 'c', 'd'], columns=['one', 'two'])
frame2

在这里插入图片描述

# 调用 describe 函数，观察frame2的数据基本信息
frame2.describe()
'''
count : 样本数据大小
mean : 样本数据的平均值
std : 样本数据的标准差
min : 样本数据的最小值
25% : 样本数据25%的时候的值
50% : 样本数据50%的时候的值
75% : 样本数据75%的时候的值
max : 样本数据的最大值
'''

在这里插入图片描述

任务六：分别看看泰坦尼克号数据集中票价、父母子女这列数据的基本统计数据，你能发现什么？
在这里插入图片描述
思考：

从上面数据我们可以看出，
一共有891个票价数据，
平均值约为：32.20，
标准差约为49.69，说明票价波动特别大，
25%的人的票价是低于7.91的，50%的人的票价低于14.45，75%的人的票价低于31.00，
票价最大值约为512.33，最小值为0。

当然，这只是我的想法，你还可以有更多想法，欢迎写在你的学习笔记中。

在这里插入图片描述
思考：有更多想法，欢迎写在你的学习笔记中。
**总结：**本节中我们通过Pandas的一些内置函数对数据进行了初步统计查看，这个过程最重要的不是大家得掌握这些函数，而是看懂从这些函数出来的数据，构建自己的数据分析思维，这也是第一章最重要的点，希望大家学完第一章能对数据有个基本认识，了解自己在做什么，为什么这么做，后面的章节我们将开始对数据进行清洗，进一步分析

**回顾&引言：**前面一章的内容大家可以感觉到我们主要是对基础知识做一个梳理，让大家了解数据分析的一些操作，主要做了数据的各个角度的观察。那么在这里，我们主要是做数据分析的流程性学习，主要是包括了数据清洗以及数据的特征处理，数据重构以及数据可视化。这些内容是为数据分析最后的建模和模型评价做一个铺垫。

Question揭晓

**思考(Q1)：**知道数据加载的方法后，试试pd.read_csv()和pd.read_table()的不同，如果想让他们效果一样，需要怎么做？了解一下’.tsv’和’.csv’的不同，如何加载这两个数据集？(所有问题在最后都会有答案，请大家自行先提前搜索）

pandas加载文件方式：
在这里插入图片描述

注意，read_csv和read_table都是是加载带分隔符的数据，每一个分隔符作为一个数据的标志，但二者读出来的数据格式还是不一样的，read_table是以制表符
\t 作为数据的标志，也就是以行为单位进行存储。

read_csv 与 read_table 的区别

read_table读取

import pandas as pd
import numpy as np
c=pd.read_table('career_data.csv',nrows=5)  # 只读了前5行
print c
print ('去掉列名和索引')
print c.values
print '\t'
print ('行列数')
c.values.shape

在这里插入图片描述

可以看出，读完后每个字符串之间有逗号相隔，这其实表明每一行作为一个维度进行了存储，所以最后它是一个5行1列的数组，每一行字符串为一列而不是每一个字符串。

read_csv 读取

import pandas as pd
import numpy as np
c=pd.read_csv('career_data.csv',nrows=5)
print c
print ('去掉列名和索引')
print c.values
print '\t'
print ('行列数')
c.values.shape

在这里插入图片描述

而 read_csv读完后是一个5行4列的数组，每一个字符串作为一列，这是二者的区别。还有固定宽度读取的read_ffw 和table 的效果一样

思考Q2：什么是逐块读取？为什么要逐块读取呢？

使用pandas来处理文件的时候，经常会遇到大文件，而有时候我们只想要读取其中的一部分数据或对文件进行逐块处理。

    #设置chunksize参数，来控制每次迭代数据的大小
    chunker = pd.read_csv("data.csv",chunksize=5)
    for piece in chunker:
        print(type(piece))
        #<class 'pandas.core.frame.DataFrame'>
        print(len(piece))
        #5

**思考Q4：**还有其他的删除多余的列的方式吗？

删除/选取某列含有特殊数值的行

import pandas as pd
import numpy as np
 
a=np.array([[1,2,3],[4,5,6],[7,8,9]])
df1=pd.DataFrame(a,index=['row0','row1','row2'],columns=list('ABC'))
print(df1)
df2=df1.copy()
 
#删除/选取某列含有特定数值的行
#df1=df1[df1['A'].isin([1])]
#df1[df1['A'].isin([1])]  选取df1中A列包含数字1的行
 
df1=df1[~df1['A'].isin([1])]
#通过~取反，选取不包含数字1的行
print(df1)

在这里插入图片描述
2. 删除/选取某行含有特殊数值的列

#删除/选取某行含有特定数值的列
cols=[x for i,x in enumerate(df2.columns) if df2.iat[0,i]==3]
#利用enumerate对row0进行遍历，将含有数字3的列放入cols中
print(cols)
 
#df2=df2[cols]   选取含有特定数值的列
df2=df2.drop(cols,axis=1) #利用drop方法将含有特定数值的列删除
print(df2)

在这里插入图片描述
3. 删除含有空值的行或列
实现思路：利用pandas.DateFrame.fillna对空值赋予特定值，再利用上文介绍的方法找到这些含有特定值的行或列去除即可。

import pandas as pd
import numpy as np
 
df1 = pd.DataFrame(
    [
        [np.nan, 2, np.nan, 0],
        [3, 4, np.nan, 1],
        [np.nan, np.nan, np.nan, 5],
        [np.nan, 3, np.nan, 4]
    ],columns=list('ABCD'))
print(df1)
df2=df1.copy()
 
df1['A']=df1['A'].fillna('null') #将df中A列所有空值赋值为'null'
print(df1)
df1=df1[~df1['A'].isin(['null'])]
print(df1)
 
#删除某行空值所在列
 
df2[0:1]=df2[0:1].fillna('null')
print(df2)
cols=[x for i,x in enumerate(df2.columns) if df2.iat[0,i]=='null']
print(cols)
df2=df2.drop(cols,axis=1)
print(df2)

在这里插入图片描述
思考Q5：这个reset_index()函数的作用是什么？如果不用这个函数，下面的任务会出现什么情况？

In [1]: df
Out[1]:
          0         1         2         3         4
0 -0.127085 -0.538321  0.641609 -0.020957  0.003503
1 -0.304994  0.157213  0.586962  0.251505  1.022418
2 -0.239710  1.235562  0.917208 -0.964571 -1.120331
3 -0.176416 -0.216204  0.433998 -0.366355 -0.261724

# 删除若干行数据
In [2]: df1 = df.loc[[0,2,3],:]

In [3]: df1
Out[3]:
          0         1         2         3         4
0 -0.127085 -0.538321  0.641609 -0.020957  0.003503
2 -0.239710  1.235562  0.917208 -0.964571 -1.120331
3 -0.176416 -0.216204  0.433998 -0.366355 -0.261724


# reset_index，原行索引作为一列保留，列名为index
In [4]: df2 = df1.reset_index()

In [5]: df2
Out[5]:
   index         0         1         2         3         4
0      0 -0.127085 -0.538321  0.641609 -0.020957  0.003503
1      2 -0.239710  1.235562  0.917208 -0.964571 -1.120331
2      3 -0.176416 -0.216204  0.433998 -0.366355 -0.261724

# reset_index，通过函数 drop=True 删除原行索引
In [6]: df3 = df1.reset_index(drop=True)

In [7]: df3
Out[7]:
          0         1         2         3         4
0 -0.127085 -0.538321  0.641609 -0.020957  0.003503
1 -0.239710  1.235562  0.917208 -0.964571 -1.120331
2 -0.176416 -0.216204  0.433998 -0.366355 -0.261724