需求:
- 导入文件,查看原始数据
- 将人口数据和各州简称数据进行合并
- 将合并数据中重复的abbreviation列进行删除
- 查看存在缺失数据的列
- 找到有哪些state/region使得state的值为NaN,进行去重操作
- 为找到的这些state/region的state补上正确的值,从而除掉state这一列的所有NaN
- 合并各州面积数据areas
- 我们会发现area(sq.mi)这一列有缺失数据,找出是哪些行
- 去除含有缺失数据的行
- 找出2010年的全民人口数据
- 计算各州的人口密度
- 排序,并找出人口密度最高的州
import numpy as np
import pandas as pd
from matplotlib import pyplot as plt
#导入文件,查看原始数据
abb = pd.read_csv("./data/state-abbrevs.csv")#state是州的全称,abbreviation是州的简称
area = pd.read_csv("./data/state-areas.csv")#state州的全称,area州的占地面积
pop = pd.read_csv("./data/state-population.csv")#state/region州的简称,ages年龄,year时间,population人数
#将人口数据和各州简称数据进行合并(为了保证数据的完整性,采用外连接的方式)
abb_pop = pd.merge(abb,pop,left_on="abbreviation",right_on="state/region",how="outer")
print(abb_pop.head(5))
#对合并后的数据删除重复列
abb_pop.drop(labels="abbreviation",axis=1,inplace=True)
print(abb_pop.head(5))
第一种方式查看缺失值
通过.isnull().any(axis=0)的方式
第二种方式是通过.info()查看数据信息确定缺失值
找到有哪些state/region使得state的值为NaN,进行去重操作
将state中的空值对应的简称找到,对简称进行去重操作
思路:可以将state这一列的空值对应的行数据取出,从该行数据中就可以取出简称的值
实现:得到是否为空的布尔类型的Series-----abb_pop['state'].isnull()
将上述的布尔值作为源数据的行索引
得到结论:只有PR和USA对应的全程数据为空值。
为找到的这些state/region的state补上正确的值,从而除掉state这一列的所有NaN
填充的方式可不可以使用.fillna()?
不可以,第一,fillna可以使用空的近邻值做填充,fillna(value="XXX")的方式进行填充,但是此处要进行填充的不止一种。
可以使用给元素赋值的方式进行填充!
1.将USA对应的行数据取出----简称为USA作为索引
2.将USA对应的全称为空的行索引取出,利用该索引填充原表中的空值
3.可以采用和USA同样的方式对PR的全称为空的位置进行填充
合并各州面积数据areas
我们会发现area(sq.mi)这一列有缺失数据,找出是哪些行
去除含有缺失数据的行
找出2010年的全民人口数据
排序,并找出人口密度最高的州
求密度