引言:本文讲解数据合并、删除、替换、去重,给空值数据赋值
1、导包、导入数据
#coding=utf-8
import numpy as np
import pandas as pd
from pandas import DataFrame
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"
abb=pd.read_csv("./state-abbrevs.csv")
area=pd.read_csv("./state-areas.csv")
pop=pd.read_csv("./state-population.csv")
2、数据合并:合并人口和各州简称
abb_pop=pd.merge(abb,pop,left_on="abbreviation",right_on="state/region",how="outer")
3、删除数据
abb_pop.drop(labels="abbreviation",axis=1,inplace=True) #原始数据中操作
4、数据去重
#找到有哪些state/region使得state的值为NaN (state 中的空值对应的简称找到,并对简称进行去重)
abb_pop.head()
#思路,先找到空数据 再取简称
#1 将state中的空值定位到
abb_pop['state'].isnull()
#2 将上述布尔值作为源数据的行索引
abb_pop.loc[abb_pop['state'].isnull()] #将state中对应的行数据取出
#3 将简称取出
abb_pop.loc[abb_pop['state'].isnull()]['state/region']
#4 对简称去重
abb_pop.loc[abb_pop['state'].isnull()]['state/region'].unique()
结果展示:
5、给空值数据赋值
# 将USA全称赋值
#为找到的这些state/region的state项补上正确的值,从而去除掉state这一列的所有NaN
#填充 fillna? 此处不可以,fillna可以使用空的近邻值做填充。fillna(value="xxx")使用指定的值进行填充
#使用给元素赋值的方式进行填充
#1 先给USA的对应空值进行批量赋值
#1.1 先找到USA对应的行数据找出来(行数据中就存在state的空值)
abb_pop['state/region']=='USA' #一旦出现布尔值就转换成原数据的行索引
abb_pop.loc[abb_pop['state/region']=='USA']
#1.2 获取USA对应的全称空 对应的行索引取出
indexs=abb_pop.loc[abb_pop['state/region']=='USA'].index
abb_pop.iloc[indexs]
abb_pop.loc[indexs,'state']="United States"
abb_pop
结果展示: