文章目录
- 第七章 数据清洗和准备
-
- 7.1处理缺失数据
- 7.2 数据转换(Data Transformation)
-
-
- 1.移除重复数据(Removing Duplicates)
- 2.利⽤函数或映射进⾏数据转换(Transforming Data Using a Function or Mapping)
- 3.替换值(Replacing Values)
- 4.重命名轴索引(Renaming Axis Indexes)
- 5. 离散化和面元划分(Discretization and Binning)
- 6.检测和过滤异常值(Detecting and Filtering Outliers)
- 7.排列和随机采样(Permutation and Random Sampling)
- 8.计算指标/哑变量(Computing Indicator/Dummy Variables)
-
- 7.3 字符串操作(String Manipulation)
第七章 数据清洗和准备
在数据分析和建模的过程,相当多的时间要⽤在数据准备上:加载、清理、转换以及重塑(load, clean up, transform, and reshape)。许多研究者都选择使⽤通⽤编程语⾔(如Python、Perl、R或Java)或UNIX⽂本处理⼯具(如sed或awk)对数据格式进⾏专⻔处理。但是pandas和内置的python标准库提供了一组高级的、灵活的、快速的工具,pandas中许多设计和实现都是由真实应用的需求所驱动的,通俗的讲就是pandas在应用于处理数据是非常有效的。
本章的重点:处理缺失数据、重复数据、字符串操作和其它分析数据转换的⼯具
7.1处理缺失数据
1.常用方法
方法 | 说明 |
---|---|
dropna | 去除表中缺失行或列 |
fillna | 指定值填充 |
isnull | 返回不为NA值的布尔值对象 |
notnull | isnull的否定 |
string_data = pd.Series(['aardvark', 'artichoke', np.nan, 'avocado'])
string_data
string_data.isnull()
string_data.fillna(12)
#下面两者的区别是一样的
string_data.dropna()
string_data[string_data.notnull()]
可以通过pandas.isnull或布尔索引的⼿⼯⽅法,但dropna可能会更实⽤⼀些。
2.滤除缺失数据(Filling In Missing Data)
df = pd.DataFrame(np.random.randn(7, 3))
df.iloc[:4, 1] = NA
df.iloc[:2, 2] = NA
df.iloc[:3,0]=NA
df
df.dropna()
#thresh这个作用不大
df.dropna(thresh=2)
3.填充缺失数据(Filling In Missing Data)
不想滤除缺失数据(有可能会丢弃跟它有关的其他数据),⽽是希望通过其他⽅式填补那些“空洞”。
fillna()
df = pd.DataFrame(np.random.randn(6, 3))
df.iloc[2:, 1] = NA
df.iloc[4:, 2] = NA
df
#字典填充
df.fillna({
1: 0.5, 2: 0})
#前向填充
df.fillna(method='ffill')
df.fillna(method='ffill', limit=2)
#平均数填充
df.fillna(df.mean())
常用的参数:value、method、axis、inplace、limit
7.2 数据转换(Data Transformation)
1.移除重复数据(Removing Duplicates)
duplicated() 、drop_duplicates()
data = pd.DataFrame({
'k1': ['one', 'two'] * 3 + ['two'],
'k2': [1, 1, 2, 3, 3, 4, 4]})
data
#返回bool值,重复为True;不重复为False
data.duplicated()
#在添一列
data['v1'] = range(7)
#去除重复列
data.drop_duplicates(['k1', 'k2'], keep='last')
2.利⽤函数或映射进⾏数据转换(Transforming Data Using a Function or Mapping)
map()
data = pd.DataFrame({
'food': ['bacon', 'pulled pork', 'bacon',
'Pastrami', 'corned beef', 'Bacon',
'pastrami', 'honey ham', 'nova lox'],
'ounces': [4, 3, 12, 6, 7.5, 8, 3, 5, 6]})
meat_to_animal = {
'bacon':