第1关:数据读取与合并
Pandas 模块导入
import pandas as pd
读取 csv 文件
pd.read_csv(path) #返回DataFrame
DataFrame合并
DataFrame 合并有三种方法:concat
、 append
和 merge
。
详情参见教材和官方文档。
注意:若出现如下错误,直接添加参数 sort=True 即可。 “ To accept the future behavior, pass 'sort=True'. …… ”
# -*- coding: utf-8 -*-
'''
第1关 数据读取与合并
现有源自世界银行的四个数据集:
1)economy-60-78.csv,
2)economy-79-19.csv,
3)population-60-78.csv,
4)population-79-19.csv,
其中分别存放了不同时间段(1960-1978和1979-2019)的
中国经济相关数据和中国人口及教育相关数据。
'''
#请将上述数据集内容读取至DataFrame结构中,
#年份为列索引,Indicator Name为行索引,
#观察其结构和内容,把它们合并为一个DataFrame,命名为ChinaData。
#输出ChinaData的形状
############begin############
import pandas as pd
# df=pd.read_csv("economy-60-78.csv",index_col = 0)#df的行索引就是economy-60-78.csv的第0列。
# df1=pd.read_csv("economy-79-19.csv",index_col = 0)
# df2=pd.read_csv("population-60-78.csv",index_col = 0)
# df3=pd.read_csv("population-79-19.csv",index_col = 0)
# ChinaData=pd.concat([df,df1,df2,df3],axis=1).iloc[:,:60]
# print(ChinaData.shape)
d1 = pd.read_csv('economy-60-78.csv',index_col = 0)#df的行索引就是economy-60-78.csv的第0列。
d2 = pd.read_csv('economy-79-19.csv',index_col = 0)
d3 = pd.read_csv('population-60-78.csv',index_col = 0)
d4 = pd.read_csv('population-79-19.csv',index_col = 0)
d12 = pd.concat([d1,d2],axis = 1,sort=True)
d34 = pd.concat([d3,d4],axis = 1,sort=True)
ChinaData = pd.concat([d34,d12],sort=True)
print(ChinaData.shape)
#############end#############
第2关:数据清洗
删除缺失值
DataFrame.dropna 方法用于删除含有缺失值的行或列,关键参数:axis 和how。
######axis
表示轴向,0 为行,1 为列,默认 0。
######how
表示删除形式,how = 'any' 表示只要有缺失值就删除;how='all' 表示全为缺失值才删除。
#####检测缺失值
DataFrame.isnull()
识别缺失值,返回包含True
和False
的 DataFrame。 DataFrame.notnull()
方法识别非缺失值,返回包含True
和False
的 DataFrame。 上述两方法结合 sum 函数可用于检测数据序列中缺失值的分布情况。
#####填充缺失值
DataFrame.fillna
方法能用指定值替换缺失值。关键参数:value、method和axis。
value
表示指定的填充值。
######method
method = 'bfill'后向填充,用后面的非缺失值填充; method = 'ffill'前向填充,用前面的非缺失值填充。
######axis
表示操作轴向,默认1(列)。
#####拉格朗日插值
from scipy.interpolate import lagrange
formula = lagrange(x,y)#formula是通过lagrange方法生成的公式,x和y为数据序列
ins_y = formula(ins_x)#ins_x为缺失值所在位置,ins_y为插值结果。
线性插值
from scipy.interpolate import interp1d#1是数字一
formula = interp1d(x,y,kind = 'linear')#formula是通过linear方法生成的公式,x和y为数据序列
ins_y = formula(ins_x)#ins_x为缺失值所在位置,ins_y为插值结果。
# -*- coding: utf-8 -*-
'''
第2关 数据清洗
'''
import pandas as pd
import numpy as np
d1 = pd.read_csv('economy-60-78.csv',index_col = 0)
d2 = pd.read_csv('economy-79-19.csv',index_col = 0)
d3 = pd.read_csv('population-60-78.csv',index_col = 0)
d4 = pd.read_csv('population-79-19.csv',index_col = 0)
d12 = pd.concat([d1,d2],axis = 1,sort=True)
d34 = pd.concat([d3,d4],axis = 1,sort=True)
ChinaData = pd.concat([d34,d12],sort=True)
'''
请针对ChinaData完成如下操作。
'''
# 2.1 删除空白行
# 提示:dropna,inplace
############begin############
a=ChinaData.shape
print("原表形状",a)
ChinaData.dropna(axis=0,how='all',inplace=True)
print("新表形状",ChinaData.shape)
print("{}个空白行被删除。".format(a[0]-ChinaData.shape[0]))
#############end#############
# 2.2 查找数据最完整(空值最少)的年份并输出
# 提示:notnull(),根据值找索引(上课讲过的方法)
############begin############
print(ChinaData.notnull().sum().idxmax())
#############end#############
# 2.3 前向填充"男性吸烟率(吸烟男性占所有成年人比例)",输出2000年至2019年的数据
# fillna,ffill
############begin############
data=ChinaData.fillna(axis=1,method='ffill')
print(data.loc["男性吸烟率(吸烟男性占所有成年人比例)",'2000':'2019'])
#############end#############
# 2.4 用2015年到2018年4年的gdp数据对2019年GDP数值进行拉格朗日插值预测,输出预测结果
# lagrange,
# 注意:x的取值从0开始,即x = np.array([0,1,2,3]),代表2015至2018 4年,2019年的x取值为4。
############begin############
from scipy.interpolate import lagrange
x = np.array([0,1,2,3])
y=ChinaData.loc['GDP','2015':'2018']
formula = lagrange(x,y)#formula是通过lagrange方法生成的公式,x和y为数据序列
ins_y = formula(4)#ins_x为缺失值所在位置,ins_y为插值结果。
print(ins_y)
#############end#############
# 2.5 用线性插值法填充“入学率,高等院校,男生(占总人数的百分比)”1995年到2002年数据,并输出插值后的94年至03年的数据
# interp1d
############begin############
from scipy.interpolate import interp1d#1是数字一
x=np.array([1994,2003])
y=np.array([4.68749,16.87404])
formula = interp1d(x,y,kind = 'linear')#formula是通过linear方法生成的公式,x和y为数据序列
ins_x=np.arange(1995,2003)
ins_y = formula(ins_x)#ins_x为缺失值所在位置,ins_y为插值结果。
ChinaData.loc['入学率,高等院校,男生(占总人数的百分比)','1995':'2002']=ins_y
print(ChinaData.loc['入学率,高等院校,男生(占总人数的百分比)','1994':'2003'])
#############end#############
第3关:数据转换
离差标准化
离差标准化就是对原始数据进行线性变换并映射至 [0,1] 区间的方法。该方法需要自行编写实现函数,建议参考教材或网络资源自行实现。
#####等宽离散化
等宽离散化将数据的值域分成宽度相同区间,根据数据所在区间取值,实现连续变量的离散化。pandas.cut
函数可以实现这种操作,关键参数:x和bins。
######x
待离散化的数据。
######bins
离散化类别数。
######注意:
获得离散化结果后,常用value_counts()
方法对离散化结果进行频数统计,以观察离散化数据的分布情况。
# -*- coding: utf-8 -*-
'''
第3关 数据转换
'''
import pandas as pd
d1 = pd.read_csv('economy-60-78.csv',index_col = 0)
d2 = pd.read_csv('economy-79-19.csv',index_col = 0)
d3 = pd.read_csv('population-60-78.csv',index_col = 0)
d4 = pd.read_csv('population-79-19.csv',index_col = 0)
d12 = pd.concat([d1,d2],axis = 1,sort=True)
d34 = pd.concat([d3,d4],axis = 1,sort=True)
ChinaData = pd.concat([d34,d12],sort=True)
'''
请针对ChinaData实现下列操作
'''
# 3.1 对“人口,总数”数据(1960-2018)进行离差标准化,并输出。
# 提示:自定义离差标准化函数,注意统计年份区间
############begin############
x=ChinaData.loc['人口,总数','1960':'2018'].sort_values()
bins=[]
for i in x:
bins.append(round((i-x.min())/(x.max()-x.min()),6))
x=list(x.values)
x.append(ChinaData.loc['人口,总数','1960':'2018'].min()-1)
x.sort()
ChinaData.loc['人口,总数','1960':'2018']= pd.cut(ChinaData.loc['人口,总数','1960':'2018'],bins=x, labels=bins)
print(ChinaData.loc['人口,总数','1960':'2018'])
#############end#############
# 3.2 对“GDP 增长率(年百分比)”(1961-2018)数据进行等宽离散化为7类,输出分布情况
# 提示:cut,注意统计年份区间
############begin############
import numpy as np
x=np.array([-27.317,-20.617,-13.964,-7.311,-0.659,5.994,12.647,19.3])
bins=['(-27.317, -20.617]','(-20.617, -13.964]','(-13.964, -7.311]','(-7.311, -0.659]','(-0.659, 5.994]','(5.994, 12.647]','(12.647, 19.3]']
d1= pd.cut(ChinaData.loc['GDP 增长率(年百分比)','1961':'2018'],bins=x, labels=bins)
print(d1.value_counts())
#############end#############