Pandas引言（二）

DataFrame的基本操作

读取数据集

import pandas as pd
import numpy as np

titanic_survival = pd.read_csv('titanic_train.csv')
titanic_survival.head()

查看 Age 列的缺失值情况

age = titanic_survival['Age']
pd.isnull(age).loc[:6]

使用布尔型Series过滤缺失值

age_not_null = age[age.isnull() == False]
age_not_null.loc[:6]

使用布尔型Series选取DataFrame

titanic_survival[age.isnull() == False].tail()

使用 dropna 方法过滤缺失值

titanic_survival.dropna(subset=['Age']).tail()

计算年龄的均值

通过 isnull 方法我们已确定 Age 列存在缺失值，需要注意的是，NAN和任何值做计算时，结果都为NAN：

所以在对某一列做求和，求均值等操作时，需先过滤掉缺失值：

# 计算年龄平均值
age_null = titanic_survival["Age"].isnull()
age = titanic_survival["Age"][age_null == False]
mean_age = sum(age) / len(age)
mean_age

使用 mean 方法可以很方便地计算均值：

重复值过滤

使用 duplicated 方法查看重复项（True为已经出现过的重复记录）:

titanic_survival.duplicated(subset=['Sex']).head()

除了指定 subset 参数，还可以使用如下的方式：

titanic_survival['Sex'].duplicated().head()

此外，还可以指定多个列，用于判定重复。下面我们过滤Sex和Age列重复的项：

titanic_survival[titanic_survival.duplicated(subset=['Sex', 'Age']) == False].shape

等价于：

titanic_survival.drop_duplicates(subset=['Sex', 'Age']).shape

分组与聚合操作

使用纯 python 计算每类 Pclass 的平均 Fare 值：

# 分组与聚合：计算每类旅客的平均票价，分组即：按旅客类型分组；聚合即：求每组的平均值
passenger_classes = set(titanic_survival["Pclass"])
ava_fares = {}

for _class in passenger_classes:
    pclass_rows = titanic_survival[titanic_survival['Pclass'] == _class]
    pclass_fares = pclass_rows['Fare']
    ava_fare = pclass_fares.mean()
    ava_fares[_class] = ava_fare
    
ava_fares

使用 pandas 的数据透视表 pivot_table ，根据 Pclass 分组，对 Fare 列使用 np.mean 进行聚合：

titanic_survival.pivot_table(index='Pclass', values='Fare', aggfunc=np.mean)

此外，还可以对多个列进行聚合:

titanic_survival.pivot_table(index='Pclass', values=['Fare', 'Survived'], aggfunc=np.sum)

aggfunc 除了指定为 numpy 中的聚合函数外，还可以其它符合条件的函数，可以应用到Series，返回单个值：

titanic_survival.pivot_table(index='Pclass', values='PassengerId', aggfunc=len)

df.apply() 方法的参数和 aggfunc 指定的函数是同类函数，只不过df.apply()会将此函数应用到所有的列：

def no_100_row(column):
    no_100 = column.iloc[99]
    return no_100

# 对DataFrame的每一列应用上述函数
titanic_survival.apply(no_100_row)

方法总结

方法	说明
pandas.isnull() / series.isnull()	返回是否为空的 bool 型的 Series 对象（备注：DataFrame 和 Series 都可以通过 bool 型的Series取值，bool型的 Series 和 True/False 进行比较，可用于数据过滤）
series.mean()	自动过滤缺失值，再求平均值
df.pivot_table(index=“列名1”, values=“列名2”/[“列名2”,“列名3”,…], aggfunc=聚合函数)	实现分组、聚合处理；index指定分组依据的列；values指定对哪几个列做聚合统计运算；aggfunc指定用于series的聚合函数。
df.dropna(axis=1) / df.dropna(axis=‘column’)	删除存在缺失值的列
df.dropna(axis=0, subset=[‘columns1’, ‘columns2’, …])	删除指定列存在缺失值的记录
df.duplicated(subset=None, keep=‘first’)	返回一个表示记录是否重复的 bool 型 Series。subset 指定比较的列，keep默认为 first ，表示将首次出现的重复记录标记为 False ，其它位置则为 True；keep = last，则表示只将重复值最后出现的位置标记为 False；keep=False，则表示将所有重复的记录均标记为 True。
df.drop_duplicates(subset=None, keep=‘first’, inplace=False)	返回去重的dataframe，subset指定去重的列，keep可以为’first’、‘last’、False，分别代表保留重复项首次出现的记录、最后一次出现的记录，False则表示删除任何重复记录
df.sortvalues(‘列名’, inplace=False, ascending=True)	返回一个新的升序dataframe
reset_index(drop=True)	用于排序后重置索引
.loc[行索引,列索引]	获取指定值