泰坦尼克号船员获救预测学习笔记

import numpy as np

import pandas as pd

 

titanic_survival = pd.read_csv("train.csv")

print(titanic_survival.head())

print("********************************")

age = titanic_survival["Age"]

print(age.loc[0:10]) # 显示age数据的0——10行

print("********************************")

#用.isnull()对缺失值进行处理。若当前的值为一个缺失值，则返回true，否则返回false

ageIsNull = pd.isnull(age)

print(ageIsNull)

print("********************************")

#将ageIsNull的值为true的留下来，把ageIsNull值为false的过滤掉

ageTrue = age[ageIsNull]

print(ageTrue) #打印所有的缺失值

print("********************************")

ageCount = len(ageTrue) # 打印缺失值的个数

print("age属性缺失值的个数： ", ageCount)

print("********************************")

# 处理缺失值可以直接过滤缺失值

good_ages = titanic_survival["Age"][ageIsNull == False]

# print(good_ages)

correct_mean_age = sum(good_ages) / len(good_ages)

print("平均年龄 = ",correct_mean_age)

print("********************************")

# 直接用pandas中提供的mean()方法来处理

correct_mean_age = titanic_survival["Age"].mean()

print("用mean()得到的平均年龄 = ",correct_mean_age)

print("********************************")

# 用pandas自带的函数.pivot_table()来统计船舱等级与平均票价的关系

# .pivot_table()相当于一个数据透视表，也相当于一个量与其他量之间关系的一个函数

passenger_classes = titanic_survival.pivot_table(index="Pclass", values = "Fare", aggfunc = np.mean)

print(passenger_classes)

print("********************************")

# 用.pivot_table()求每类船舱对应的平均存活率

passenger_survical = titanic_survival.pivot_table(index = "Pclass",values = "Survived",aggfunc = np.mean)

print(passenger_survical)

print("********************************")

# 用.pivot_table()看不同的登船地点(C,Q,S)的总的票价和总的获救人数

port_stats = titanic_survival.pivot_table(index = "Embarked",values = ["Fare","Survived"],aggfunc = np.sum)

print(port_stats)

print("********************************")

#用.dropna扔掉具有缺失值的行

titanic_survival.head(7)

new_titanic_survival = titanic_survival.dropna(axis = 0,subset = ["Age","Sex"])

#看Age和Sex这两列有没有缺失值的，如果有，就把具有缺失值的这行数据扔掉。

titanic_survival.head(7)

print("********************************")

# 如何取确定位置上的一个数据 行号+列名

row_index_83_age = titanic_survival.loc[83,"Age"]

row_index_766_pclass = titanic_survival.loc[766,"Pclass"]

print("第83行的age = ",row_index_83_age)

print("第766行的pclass = ",row_index_766_pclass)

print("********************************")

# 用.sort_values()进行数据的重新排序，并用.reset_index()重置排序后的index值（即行号）

new_titanic_survival = titanic_survival.sort_values("Age",ascending = False)    #根据“Age”的大小逆序排列。

print(new_titanic_survival[0:10])                                               #打印未进行.reset_index时的数据前10行

titanic_reindexed = new_titanic_survival.reset_index(drop = True)

print(titanic_reindexed.loc[0:10])

new_titanic_survival[0:10]

print("********************************")

# apply(自定义函数名) 的功能

#定义一个新的函数hundredth_row，用来返回第100行数据

def hundredth_row(column):

    hundredth_item = column.loc[99]

    return hundredth_item

 

hundredth_row = titanic_survival.apply(hundredth_row)   #将新定义好的函数apply一下

print(hundredth_row)

print("********************************")

#返回所有属性缺失值的个数

def isnull_count(column):

    column_null = pd.isnull(column)        #返回值是true或flase

    null = column[column_null]             #缺失值列表

    return len(null)

 

column_null_count = titanic_survival.apply(isnull_count)

print(column_null_count)

print("********************************")

# 将年龄离散化，在本实例数据集上的“Age”是一个连续的值，这里以18为界限，将其离散化。

def generate_age_label(row):

    age = row["Age"]

    if pd.isnull(age):

        return "Unknow"

    elif age < 18:

        return "minor"

    else:

        return "adult"

 

age_labels = titanic_survival.apply(generate_age_label, axis = 1)

print(age_labels)

print("********************************")

# 利用上边的自定义函数，使用.pivot_table()函数得到年龄阶段与获救率之间的关系。

titanic_survival["age_labels"] = age_labels      #将上一个里边返回的关于age_labels的数据组合成数据的一列

#得到年龄阶段与存活率之间的关系

age_group_survival = titanic_survival.pivot_table(index = "age_labels",values = "Survived")

print(age_group_survival)