python 数据清洗 豆瓣电影_python 数据清洗篇

前面我们用pandas做了一些基本的操作，接下来进一步了解数据的操作，

数据清洗一直是数据分析中极为重要的一个环节。本篇主要演示：python 数据清洗的数据合并、转换、过滤、排序.

数据合并

在pandas中可以通过merge对数据进行合并操作。

import numpy as npimport pandas as pd

data1 = pd.DataFrame({'level':['a','b','c','d'],'numeber':[1,3,5,7]})

data2=pd.DataFrame({'level':['a','b','c','e'], 'numeber':[2,3,6,10]})

print(data1)

结果为：

print(data2)

结果为：

print(pd.merge(data1,data2))

结果为：

可以看到data1和data2中用于相同标签的字段显示，而其他字段则被舍弃，这相当于SQL中做inner join连接操作。

此外还有outer,ringt,left等连接方式，用关键词how的进行表示。

data3 = pd.DataFrame({'level1':['a','b','c','d'], numeber1':[1,3