python数据清洗框架_使用 Python pandas 包进行数据清洗小结

什么是 pandas

pandas 是一个 Python 包，它提供了快速、灵活和丰富的数据结构，可以简单又直观地处理“关系”和“标签”数据，是 Python 中做数据分析的重要模块。详见 pandas 官方文档

DataFrame

pandas 有两个非常重要的数据结构 Series 和 DataFrame。Series 是序列，多行单列，DataFrame 多行多列。先看一个图表

图片来自[这里](http://chrisalbon.com/python/pandas_missing_data.html)

上图是 pandas.DataFrame 输出样式。最左列是索引列，默认为自增的数字序列。第一行是列名，NaN表示空，无数据。当导入数据，或者做数据框合并时，若出现空数据， pandas 会自动将此项设置为 NaN。

如何使用 pandas

我们现在有一个需求，分析电话号码的合法性。以下例子围绕这个展开。

导入 csv 格式文件。

import pandas as pd

df = pd.read_csv('phone.csv', encoding='utf8')

根据某列生成其他列，可如下实现。

import phonenumbers

def valid_phone_number(phones):

vphones = []

status = []

# vphone = None

for phone in phones:

try:

p=phonenumbers.parse(phone,'CN')

vphones.append(str(p.national_number))

status.append(phonenumbers.is_valid_number(p))

except Exception, e:

vphones.append(np.NaN)

status.append(np.NaN)

print e

return [vphones, status]

result = valid_phone_number(df['phone'])

df['format'] = result[0]

df['status'] = result[1]

print df

结果：

phone format status

0 +862110100000 2110100000 True

1 ?059122663000 59122663000 True

2 ? 15822203333 15822203333 True

3 0254000211111 254000211111 False

4 +862082688688 2082688688 True

5 1795111111120009 11111120009 False

6 0451811$012599 NaN NaN

在列上应用函数

def valid_phone_number(phone):

vp = None

try:

p = phonenumbers.parse(phone,'CN')

if phonenumbers.is_valid_number(p):

vp = [str(p.national_number), True]

else:

vp = [str(p.national_number), False]

except Exception, e:

print e

return vp

df['phone_status'] = df['phone'].apply(valid_phone_number)

输出结果

phone phone_status

0 +862110100000 [2110100000, True]

1 ?059122663000 [59122663000, True]

2 ? 15822203333 [15822203333, True]

3 0254000211111 [254000211111, False]

4 +862082688688 [2082688688, True]

5 1795111111120009 [11111120009, False]

6 0451811$012599 None

拆 list 列

tags = df['phone_status'].apply(pd.Series)

tags = tags.rename(columns = lambda x : 'format' if x == 0 else 'status')

dfs = pd.concat([df['phone'], tags[:]], axis=1)

# 排序输出

print dfs.sort_values(by='status', ascending=0)

结果：

phone format status

0 +862110100000 2110100000 True

1 ?059122663000 59122663000 True

2 ? 15822203333 15822203333 True

4 +862082688688 2082688688 True

3 0254000211111 254000211111 False

5 1795111111120009 11111120009 False

6 0451811$012599 NaN NaN

统计：

print pd.value_counts(df['status'], sort=False)

结果

False 2

True 4

Name: status, dtype: int64

输出结果到文件 excel／csv， index=False表示不包含索引列，即上面的最左列

# csv

df.to_csv('phones.csv', encoding='utf8', index=False)

# excel

df.to_excel('phones.xlsx', sheet_name='Sheet1', index=False)

结果如下图：

输出的 excel 表格

在列上应用函数修改值，去掉所有值的前后空格：

stripstr = lambda x: x.strip() if isinstance(x, unicode) else x

# 在所有列上修改

df = df.applymap(stripstr)

如果只对某列进行修改：

# 在phone列修改

df['phone'] = df['phone'].apply(stripstr)

删除重复行

df.drop_duplicates()

删除列

# axis=1 表示列

df.drop('phone_status', axis=1)

# 删除索引值为1的行

df.drop(1)

空数据的处理：

# 空（NaN）值填0

df["phone"].fillna(0)

#删除所有列都为 NaN 的行

df.dropna(how='all')

#删除含 NaN 的行

df.dropna()