Python: Kaggle Titannic数据集处理

最新推荐文章于 2022-12-07 09:16:48 发布
原创 最新推荐文章于 2022-12-07 09:16:48 发布 · 1.7k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

该博客探讨了在Kaggle的Titanic数据集中，如何利用性别、船舱等级和登陆港口等因素影响乘客的存活率。通过分析，发现女性的存活率显著高于男性，船舱等级与存活率负相关，尤其是3等舱。年龄也是一个重要因素，15岁以下乘客存活率较高，40岁以上则差异不大。初步数据处理和特征选择能有效提升预测模型的性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

# list Titannic_all file

想法1：能否用某个算法求个权值矩阵，后用其.x数据，再用k-means聚类

想法2 ：直接先用逻辑回归，随机森林

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

import warnings
warnings.filterwarnings('ignore')

#% matplotlib inline

train_data = pd.read_csv('train.csv')
test_data = pd.read_csv('test.csv')

train_data.head()
PassengerIdSurvivedPclassNameSexAgeSibSpParchTicketFareCabinEmbarked
0103Braund, Mr. Owen Harrismale22.010A/5 211717.2500NaNS
1211Cumings, Mrs. John Bradley (Florence Briggs Th...female38.010PC 1759971.2833C85C
2313Heikkinen, Miss. Lainafemale26.000STON/O2. 31012827.9250NaNS
3411Futrelle, Mrs. Jacques Heath (Lily May Peel)female35.01011380353.1000C123S
4503Allen, Mr. William Henrymale35.0003734508.0500NaNS
train_data.info()
print("-" * 40)
test_data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
PassengerId    891 non-null int64
Survived       891 non-null int64
Pclass         891 non-null int64
Name           891 non-null object
Sex            891 non-null object
Age            714 non-null float64
SibSp          891 non-null int64
Parch          891 non-null int64
Ticket         891 non-null object
Fare           891 non-null float64
Cabin          204 non-null object
Embarked       889 non-null object
dtypes: float64(2), int64(5), object(5)
memory usage: 83.6+ KB
----------------------------------------
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 418 entries, 0 to 417
Data columns (total 11 columns):
PassengerId    418 non-null int64
Pclass         418 non-null int64
Name           418 non-null object
Sex            418 non-null object
Age            332 non-null float64
SibSp          418 non-null int64
Parch          418 non-null int64
Ticket         418 non-null object
Fare           417 non-null float64
Cabin          91 non-null object
Embarked       418 non-null object
dtypes: float64(2), int64(4), object(5)
memory usage: 36.0+ KB

train_data.describe()
PassengerIdSurvivedPclassAgeSibSpParchFare
count891.000000891.000000891.000000714.000000891.000000891.000000891.000000
mean446.0000000.3838382.30864229.6991180.5230080.38159432.204208
std257.3538420.4865920.83607114.5264971.1027430.80605749.693429
min1.0000000.0000001.0000000.4200000.0000000.0000000.000000
25%223.5000000.0000002.00000020.1250000.0000000.0000007.910400
50%446.0000000.0000003.00000028.0000000.0000000.00000014.454200
75%668.5000001.0000003.00000038.0000001.0000000.00000031.000000
max891.0000001.0000003.00000080.0000008.0000006.000000512.329200

性别对存活率影响

train_data['Survived'].value_counts().plot.pie(autopct = '%1.2f%%')

<matplotlib.axes._subplots.AxesSubplot at 0x1acc7eab518>

在这里插入图片描述

男性人数是女性两倍，但女性存活率大很多

train_data.groupby(['Sex','Survived']).size().plot.bar()

<matplotlib.axes._subplots.AxesSubplot at 0x1acc9f482b0>

在这里插入图片描述

train_data[['Sex','Survived']].groupby(['Sex']).sum().plot.bar()

<matplotlib.axes._subplots.AxesSubplot at 0x1acc9fa5b70>

在这里插入图片描述

train_data[['Sex','Survived']].groupby(['Sex']).mean().plot.bar()

<matplotlib.axes._subplots.AxesSubplot at 0x1acca00aa58>

在这里插入图片描述

船舱等级似乎影响更大，3等舱人最多，Survived最少

train_data.groupby(['Pclass','Sex']).size().plot.bar()

<matplotlib.axes._subplots.AxesSubplot at 0x1acca081f28>

在这里插入图片描述

train_data[['Pclass','Survived']].groupby(['Pclass']).sum().plot.bar()

<matplotlib.axes._subplots.AxesSubplot at 0x1acca0e9400>

在这里插入图片描述

train_data[['Pclass','Survived']].groupby(['Pclass']).mean().plot.bar()

<matplotlib.axes._subplots.AxesSubplot at 0x1acca162470>

在这里插入图片描述

不同船舱的女性存活率有所区别

train_data[['Sex','Pclass','Survived']].groupby(['Pclass','Sex']).mean().plot.bar()

<matplotlib.axes._subplots.AxesSubplot at 0x1acca1bd1d0>

在这里插入图片描述

年龄与存活的关系

fig, ax = plt.subplots(1,2,figsize = (18,8))
sns.violinplot('Pclass','Age',hue='Survived',data=train_data,split=True,ax=ax[0])
ax[0].set_title('Pclass and Age vs Survived')
ax[0].set_yticks(range(0,100,10))

sns.violinplot('Sex','Age',hue='Survived',data = train_data,split=True,ax=ax[1])
ax[1].set_title('Sex and Age vs Survived')
ax[1].set_yticks(range(0,100,10))

plt.show()

在这里插入图片描述

年龄分布特征分析,拼错单词难受呀

在15岁之前存活率较高，40以后没区别

fig,ax = plt.subplots(figsize=(10,5))
sns.kdeplot(train_data.loc[(train_data['Survived'] == 0),'Age'],shade = True,color = 'gray',label = 'Not Survived')
sns.kdeplot(train_data.loc[(train_data['Survived'] == 1),'Age'],shade=True,color = 'g',label = 'Survived')
plt.title('Age--Survived or NOt')
plt.xlabel('Age')

Text(0.5, 0, 'Age')

在这里插入图片描述

登陆港口与存活与否的关系,s港口登陆的人最多，获救率最低，c，q港口大多为女性登陆？

grid = sns.FacetGrid(data = train_data,col='Pclass',hue='Sex')
grid.map(sns.countplot,'Embarked')
grid.add_legend()

<seaborn.axisgrid.FacetGrid at 0x1acca219668>

在这里插入图片描述

sns.countplot('Embarked',hue='Survived',data = train_data)
plt.title('Embarked and Survived')

Text(0.5, 1.0, 'Embarked and Survived')

在这里插入图片描述

sns.factorplot('Embarked','Survived',data = train_data,kind='bar')
plt.title('Embarked and Survived rate')

Text(0.5, 1.0, 'Embarked and Survived rate')

在这里插入图片描述

第一次简易处理数据，只填充年龄，选取几个简单特征

# age 用中位数填充
train_data["Age"] = train_data["Age"].fillna(train_data["Age"].median())
train_data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
PassengerId    891 non-null int64
Survived       891 non-null int64
Pclass         891 non-null int64
Name           891 non-null object
Sex            891 non-null object
Age            891 non-null float64
SibSp          891 non-null int64
Parch          891 non-null int64
Ticket         891 non-null object
Fare           891 non-null float64
Cabin          204 non-null object
Embarked       889 non-null object
dtypes: float64(2), int64(5), object(5)
memory usage: 83.6+ KB

# 线性回归算法
from sklearn.linear_model import LinearRegression
# 这啥，留着百度
from sklearn.model_selection import KFold

#选取典型特征
predictors = ["Pclass","Age","SibSp","Parch","Fare"]

#初始化线性回归算法
alg = LinearRegression()
#样本分三份，3折交叉验证
kf = KFold(n_splits=3,shuffle=False,random_state=1)

predictions = []
for train,test in kf.split(train_data):
    train_predictors = (train_data[predictors].iloc[train,:]) #iloc DataFarm里的函数
    train_target = (train_data["Survived"].iloc[train])
    alg.fit(train_predictors,train_target)  # 使用线性回归算法
    test_predictions = alg.predict(train_data[predictors].iloc[test,:])
    predictions.append(test_predictions)

print(predictions[0][1:10],predictions[1][1:10],predictions[2][1:10],'\n'*2,len(predictions),len(predictions[0]))  #len = 3

[0.64716068 0.22381187 0.65781892 0.15821019 0.20954606 0.54764008
 0.35828968 0.29636233 0.54633321] [0.62891234 0.77642663 0.22950758 0.13992775 0.29488562 0.42050708
 0.22989295 1.06210609 0.73216932] [0.22171068 0.46757728 0.11475416 0.26813918 0.47166107 0.45771509
 0.26832766 0.66241433 0.15305294] 

 3 297

predictions = np.concatenate(predictions,axis=0)

predictions[predictions > 0.5] = 1
predictions[predictions <= 0.5] = 0

accuracy = sum(predictions == train_data["Survived"]) / len(predictions)

print("准确率：",accuracy)

准确率： 0.7037037037037037

增加Age、Embarked、Cabin特征值,提高0.08

# 对Sex进行处理：male:0,female:1
train_data.loc[train_data['Sex'] == 'male','Sex'] = 0
train_data.loc[train_data['Sex'] == 'female','Sex'] = 1

# 对Embarked进行处理，根据上述分析，C口登船的几乎都为女性，Pclass = 2，尤其明显。男性几乎都在S口登船，取众数
train_data['Embarked'] = train_data['Embarked'].fillna('C')

# 对Cabin进行特征化,Cabin缺失太多，也是特征（甲板 = 。=）
train_data['Cabin'] = train_data.Cabin.fillna('U0')
train_data.loc[train_data['Embarked'] == 'U0','Embarked'] = 0
train_data.loc[train_data['Embarked'] == 'S','Embarked'] = 1
train_data.loc[train_data['Embarked'] == 'C','Embarked'] = 2
train_data.loc[train_data['Embarked'] == 'Q','Embarked'] = 3

train_data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
PassengerId    891 non-null int64
Survived       891 non-null int64
Pclass         891 non-null int64
Name           891 non-null object
Sex            891 non-null int64
Age            891 non-null float64
SibSp          891 non-null int64
Parch          891 non-null int64
Ticket         891 non-null object
Fare           891 non-null float64
Cabin          891 non-null object
Embarked       891 non-null int64
dtypes: float64(2), int64(7), object(3)
memory usage: 83.6+ KB

predictors_2 = ['Pclass','Sex','Age','SibSp','Parch','Fare','Embarked']
alg_2 = LinearRegression()
#样本分三份，3折交叉验证
kf_2 = KFold(n_splits=3,shuffle=False,random_state=1)

predictions_2 = []
for train,test in kf_2.split(train_data):
    train_predictors_2 = (train_data[predictors_2].iloc[train,:]) #iloc DataFarm里的函数
    train_target_2 = (train_data["Survived"].iloc[train])
    alg_2.fit(train_predictors_2,train_target_2)  # 使用线性回归算法
    test_predictions_2 = alg_2.predict(train_data[predictors_2].iloc[test,:])
    predictions_2.append(test_predictions_2)

predictions_2 = np.concatenate(predictions_2,axis=0)
predictions_2[predictions_2 > 0.5] = 1
predictions_2[predictions_2 <= 0.5] = 0

accuracy_2 = sum(predictions_2 == train_data["Survived"]) / len(predictions_2)

print("准确率：",accuracy_2)

准确率： 0.7833894500561167

测试集处理

test_data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 418 entries, 0 to 417
Data columns (total 11 columns):
PassengerId    418 non-null int64
Pclass         418 non-null int64
Name           418 non-null object
Sex            418 non-null object
Age            332 non-null float64
SibSp          418 non-null int64
Parch          418 non-null int64
Ticket         418 non-null object
Fare           417 non-null float64
Cabin          91 non-null object
Embarked       418 non-null object
dtypes: float64(2), int64(4), object(5)
memory usage: 36.0+ KB

#处理Age
test_data["Age"] = test_data["Age"].fillna(train_data["Age"].median())
#处理Sex
test_data.loc[test_data['Sex'] == 'male','Sex'] = 0
test_data.loc[test_data['Sex'] == 'female','Sex'] = 1
#处理Embarked
train_data['Embarked'] = train_data['Embarked'].fillna('C')
#处理Cabin
test_data['Cabin'] = test_data.Cabin.fillna('U0')
test_data.loc[test_data['Embarked'] == 'U0','Embarked'] = 0
test_data.loc[test_data['Embarked'] == 'S','Embarked'] = 1
test_data.loc[test_data['Embarked'] == 'C','Embarked'] = 2
test_data.loc[test_data['Embarked'] == 'Q','Embarked'] = 3
test_data.info()


<class 'pandas.core.frame.DataFrame'>
RangeIndex: 418 entries, 0 to 417
Data columns (total 11 columns):
PassengerId    418 non-null int64
Pclass         418 non-null int64
Name           418 non-null object
Sex            418 non-null int64
Age            418 non-null float64
SibSp          418 non-null int64
Parch          418 non-null int64
Ticket         418 non-null object
Fare           417 non-null float64
Cabin          418 non-null object
Embarked       418 non-null int64
dtypes: float64(2), int64(6), object(3)
memory usage: 36.0+ KB

#处理Fare,训练集不缺
test_data["Fare"] = test_data["Fare"].fillna(train_data["Fare"].median())
test_data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 418 entries, 0 to 417
Data columns (total 11 columns):
PassengerId    418 non-null int64
Pclass         418 non-null int64
Name           418 non-null object
Sex            418 non-null int64
Age            418 non-null float64
SibSp          418 non-null int64
Parch          418 non-null int64
Ticket         418 non-null object
Fare           418 non-null float64
Cabin          418 non-null object
Embarked       418 non-null int64
dtypes: float64(2), int64(6), object(3)
memory usage: 36.0+ KB

test_features = ['Pclass','Sex','Age','SibSp','Parch','Fare','Embarked']
test_data['Survived'] = -1

test_predictors = test_data[test_features]
test_data['Survived'] = alg_2.predict(test_predictors)

test_data.head()
PassengerIdPclassNameSexAgeSibSpParchTicketFareCabinEmbarkedSurvived
08923Kelly, Mr. James034.5003309117.8292U030.158051
18933Wilkes, Mrs. James (Ellen Needs)147.0103632727.0000U010.480204
28942Myles, Mr. Thomas Francis062.0002402769.6875U030.177382
38953Wirz, Mr. Albert027.0003151548.6625U010.106463
48963Hirvonen, Mrs. Alexander (Helga E Lindqvist)122.011310129812.2875U010.617975
test_data.loc[test_data['Survived'] > 0.5,'Survived'] = 1
test_data.loc[test_data['Survived'] <= 0.5,'Survived'] = 0
test_data.head()
PassengerIdPclassNameSexAgeSibSpParchTicketFareCabinEmbarkedSurvived
08923Kelly, Mr. James034.5003309117.8292U030.0
18933Wilkes, Mrs. James (Ellen Needs)147.0103632727.0000U010.0
28942Myles, Mr. Thomas Francis062.0002402769.6875U030.0
38953Wirz, Mr. Albert027.0003151548.6625U010.0
48963Hirvonen, Mrs. Alexander (Helga E Lindqvist)122.011310129812.2875U011.0
submission = pd.DataFrame({
    'PassengerId':test_data['PassengerId'],
    'Survived':test_data['Survived']
})
submission.head()
PassengerIdSurvived
08920.0
18930.0
28940.0
38950.0
48961.0
submission.describe()
PassengerIdSurvived
count418.000000418.000000
mean1100.5000000.358852
std120.8104580.480238
min892.0000000.000000
25%996.2500000.000000
50%1100.5000000.000000
75%1204.7500001.000000
max1309.0000001.000000
submission.to_csv('titanic_submission.csv',index = False)
利用python进行探索性数据分析（EDA）：以Kaggle泰坦尼克号数据集为例
阿里云专家博主、数据科学领域优质创作者、统计er在读
04-26 5852
探索性数据分析（EDA）是我们进行数据分析和很多数据挖掘比赛的基础。当我们得到一个数据后，我们首先要分析一下这个数据的基本情况，例如哪些变量是分类型的，哪些是连续型的，它们的分布是什么情况，它们之间有什么关系，数据缺失值如何。通过探索性数据分析后，我们能大致了解数据，从而进行相关模型建立以及作为特征工程的基础。 本文通过Kaggle泰坦尼克号数据来进行探索性数据分析实战。📝个人介绍：小编大四统计在读，目前保研到统计学top3高校继续攻读统计研究生，如果文章对你有帮助，欢迎点赞收藏评论！...
【python】Kaggle入门：titanic 的数据清洗与模型训练
四轩茶屋
10-06 1648
目 录 0、概述 1、数据清洗 1.1 缺失值填充 1.1.1 Age填充 1.1.2Embarked填充 1.1.3 Fare填充 1.2 异常值处理 1.3 特征转换 2、建模和优化 2.1、参数优化 2.2 训练模型 2.3 交叉验证 3、预测 4、总结 0、概述 在上一篇文章中，我们对训练集的各个特征已经有了初步了解，并提取出了九个可用的特征...
泰坦尼克号0.81准确率python源代码.py
11-05
这是kaggle泰坦尼克号准确率0.81的python数据分析超级详细的源代码 这是传说中的泰坦尼克机器学习比赛-对你来说最好的，第一次挑战，让你潜入机器学习比赛，熟悉Kaggle平台的工作原理。 竞争很简单：使用机器学习来创建一个模型，预测哪些乘客在泰坦尼克号沉船事故中幸存下来。
python csv模块用法_python CSV模块的使用
weixin_39902107的博客
11-29 166
简介CSV（comma separated values），逗号分隔值（字符分割值，字符可以不是逗号），常用的文本格式，用以存储表格数据，包括数字或者字符。kaggle就是csv格式，python有内置的csv模块。csv中的函数1、reader（csvfile，dialect='excel'，**fmtparams）csvfile，必须是支持迭代(Iterator)的对象，可以是文件(file)...
代码问题：划分训练集train_data和测试集test_data
muyuejinxing的博客
12-07 1149
问题：使用sklearn的train_test_split来划分训练集和测试集，会把原有的数据顺序打乱。此时进行数据预测，准确率高达99%，预测结果太高了，因此，对数据集进行重新划分。 将数据按照日期进行划分，将前面8个月作为训练集，后面4个月作为测试集，重新进行训练。
数据处理中遇到的函数
weixin_43949714的博客
07-15 782
1.读数据 test_data=pd.read_csv(‘D:/dataset/Titanic/test.csv’) 2.看数据 train_data.head()看前五行 train_data.info()看统计 3.看哪些列有null train_data.isnull().sum() 4.填充缺失值 train_data[‘Age’].fillna(train_data[‘Age’].mean(), inplace=True)(这里是填充平均值) 5.改变值（比如’male’变成0) train_da
kaggle Titanic 数据集下载
weixin_44748789的博客
04-29 4015
链接：https://pan.baidu.com/s/1kEcyx7lwAdMNYTvM4WhhFw 提取码：3gog
titanic数据集——kaggle
08-16
KAGGLE竞赛官方网站上下载下来的数据集,最全kaggle泰坦尼克数据集。欢迎下载。 正版数据集含代码使用，避免官网下载注册的麻烦。正版数据集含代码使用，避免官网下载注册的麻烦。正版数据集含代码使用，避免官网下载...
kaggle比赛titanic数据集
07-26
【标题】：Kaggle比赛Titanic数据集 在数据科学和机器学习领域，Kaggle是一个非常知名的平台，它提供了各种数据竞赛，鼓励全球的数据科学家解决实际问题。本数据集是Kaggle上的经典比赛——“泰坦尼克号”（Titanic...
DS_Project_Titanic：从Kaggle为Titanic数据集创建分类树
02-17
数据科学| 项目：“泰坦尼克号” EDA（探索性数据分析） Дляначалавданныхнужновыделитьосновныезависимости。 Дляэтогобыливыбранылоги...
泰坦尼克号数据集新手练手
05-11
泰坦尼克号数据集,pyhton数据分析练手,练手专用,数据分析,Python
KAGGLE的Titannic尝试
06-07
Kaggle的Titanic简单尝试，正确率不高，但是可以作为一个初版
titanic数据集下载
04-21
titanic数据集，分为训练集和测试集，训练集有12列特征
Titanic数据
02-17
Titanic数据，包含泰坦尼克号中‘Passage,Age,Pclass’等信息，适用于pandas,matplotlib数据分析练习
kaggle_titanic数据集学习
weixin_41479993的博客
03-22 6392
目标 Kaggle介绍 问题背景介绍 小问题 表头# 流程 分析数据 模型以及特征选择 数据认知 属性与获救结果的关联统计 看看各乘客等级的获救情况 特征选择 特征缺失 逻辑回归建模 交叉验证(cross validation) 参考 目标 主要是为了几天后的http://www.datafountain.cn/#/competitions/284/activi...
一个实例告诉你：Kaggle 数据竞赛都有哪些套路
bbbeoy的专栏
06-15 2014
前面写了很多篇理论，大家愿意一篇一篇坚持看下来其实挺不容易的，虽然理论很重要，但脱离了实践还是空中楼阁啊，算法科学家也不可能不代码啊，所以呀，今天我们就插播一期实践，和大家聊一聊实际过程当中机器学习算法的应用。 对于我们这些初学者或者说外行来说，因为我们没机会接触到机器学习真正的应用项目，所以一些比赛平台往往是我们不错的选择，比如说这个Kaggle啊，前一段时间被Google收购还挺火的，还
python数据分析实例_python数据分析实例（十）泰坦尼克号数据
weixin_39553156的博客
12-05 1016
matplotlib圆饼图、直方图、箱型图、柱状图， seaborn柱状图、小提琴图，常用函数：cad_draw1 = train_data['Survived'].value_counts() plt.axis('equal') plt.pie(cad_draw1, explode = [0.1,0], labels = ['死亡','生存'], col...
Python：titanic的预测模型
Cyber的博客
07-09 1471
前言：整个6月都在学习统计学，终于考过了cda level1，也终于开始正式机器学习 开始看唐宇迪的《python数据分析与机器学习实战》视频，由于是2017年录制的视频且用的是python 2.7，所以里面的一些代码已经不适用了，根据最新的3.6改了一下 import pandas as pd import numpy as np from matplotlib import pyplot as...
【python】Kaggle入门：titanic 的特征提取与特征分析
四轩茶屋
10-03 2252
目 录 0、概述 1、Anaconda的准备 2、导入必需包和数据集 3、数据分析 3.1 数据概览 3.2 数据初步分析 3.2.1 Pclass 客舱等级 3.2.2Sex性别 3.2.3 Age 年龄 3.2.4 SibSp 兄弟数量 3.2.5 Parch 父母与子女数量 3.2.6 Fare 票价 3.3 数据深入分析 3.3.1PassengerI...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值