5.数据性能优化

# 载入测试数据
import pandas as pd
employees = pd.read_csv('employees.csv')
employees.head()
employees.info()

1.Start Date字段转化为日期形式

employees = pd.read_csv('employees.csv',parse_dates=['Start Date'])

2.Mgmt只有True、False， 转化为bool型

# 空值Nan会被转为True
employees.Mgmt = employees.Mgmt.astype(bool)
employees.info()

3. 观察Salary列，只需要int格式，转化前使用fillna填充空值，否则会报错

employees.Salary = employees.Salary.fillna(0).astype(int)
employees.info()

4. 转化为category格式，适用于唯一值较少的列

employees['Gender'] = employees['Gender'].astype("category")

employees['Team'] = employees['Team'].astype("category")
employees.info()

优化后29.8kb 相较原来的47.0kb，优化了36.5%。

补充

1.空值处理
dropna（）

# how字段默认=‘any’， 每行存在空值即删除
employees.dropna()
# how=‘all’， 每行所有值都为空值才删除
employees.dropna(how='all')
# thresh字段，传入一个int值，至少存在n个非空值才保留数据，不可同时设置how和thresh字段
employees.dropna(thresh=4)
# subset字段 筛选列
# 删除单列含有空值的数据
employees.dropna(subset=['Gender'])
# 删除多列含有空值的数据
employees.dropna(subset=['Gender', 'Salary'])