一、学习内容
chapter 7数值操作
数值操作包含空值替换、多对一、多对多替换,数值排序、计数、区间切分、转置等操作。
导入相应模块
import numpy as np
import pandas as pd
from icecream import ic
1.数值替换
# 空值替换
ic(df_excel.replace(np.NAN,0))
# 多对一替换-列表
ic(df_excel.replace(['张26','张27'],0))
# 多对多替换-字典
ic(df_excel.replace({'张26':'zhang26','张27':'zhang27'}))
部分效果图如下:
2.数值排序
# 数值排序
ic(df_excel.sort_values(by='编号',ascending=False)) #降序,默认升序
# 缺失值放在最前或最后
ic(df_excel.sort_values(by="销量",na_position='first'))
ic(df_excel.sort_values(by="销量",na_position='last'))
ic(df_excel.iloc[20:,:].sort_values(by="销量",na_position='last'))
# 按照多列进行排序,按销量降序,若销量重复则按编号升序
ic(df_excel.sort_values(by=["销量","编号"],ascending=[False,True]))
部分效果如下:
3.数据删除
# 删除数据,drop([],axis = 0/1) 1删除列,0删除行
ic(df_excel.drop(['编号','销量'],axis = 1))
ic(df_excel.drop(df_excel.index[[0,1]],axis=0))
4.计数
# 数值计数
ic(df_excel.value_counts('售货员'))
ic(df_excel['售货员'].value_counts(normalize=True))
效果如下:
5.获取唯一值,用unique函数,array类型返回唯一值,查找值用isin(),返回布尔值
# 获取唯一值
ic(df_excel['售货员'].unique())
# 查找值
ic(df_excel.isin(['张3']))
效果如下:
6.对数值进行区间切分
# 区间切分
ic(pd.cut(df_excel['销量'],bins=[0,2380,2390]))#自定义两个区间
ic(pd.qcut(df_excel['销量'],3)) #自动切分为3个区间
效果如下:
7.行列转置、索引重塑和apply函数
# 行列转置
ic(df_excel.T)
ic(df_excel.T.T)
# 索引重塑,表格型数据转为树形
ic(df_excel.stack())
# 对某些元素进行相同的操作,类似map函数
ic(df_excel['销量'].apply(lambda x:x+0.1)) #这列所有元素+0.1
部分效果如下:
chapter 8 数据运算
1.构建DateFrame数据类型,以列表形式传入参数,创建3行3列的DateFrame数据。
df = pd.DataFrame([[1,2,3],[4,5,6],[7,8,9]])
2.默认行(列)索引为数字,为了方便后续观察,对索引进行重命名
df.index = ['s1','s2','s3']
df.columns = ['c1','c2','c3']
效果如下图:
3.依次求均值、中位数、众数、方差、标准差、分位数、相关性运算。默认都是按列计算,若要按行计算,需添加参数axis=1
# 均值运算
ic(df.mean())
ic(df.mean(axis=1))
# 中位数
ic(df.median(),df.median(axis=1))
# 众数
ic(df.mode(),df.mode(axis=1))
# 方差
ic(df.var(),df.var(axis=1))
# 标准差
ic(df.std(),df.std(axis=1))
# 分位数
ic(df.quantile(0.5),df.quantile(0.25),df.quantile(0.75))
# 相关性运算
ic(df['c1'].corr(df['c2'])) #指定两列之间的相关性
ic(df.corr()) #整个表中各字段间的相关性
输出如下:
总结:
- 数值替换用replace()函数,空值用np.NAN表示,多对一替换可以将待替换的值以列表的形式传入,多对多替换中用字典形式传入。
- sort_values()函数对数值进行排序,by参数指定待排序的列名,ascending默认升序。对数值计数用value_counts(),指定计数列。
- 对数值进行区间切分,cut()自定义区间,qcut()根据数值自动划分指定个数的区间。apply()函数与lambda函数结合使用,主要用于对DataFrame中的某一column或row中的元素执行相同的函数操作与map()函数类似。
- pandas中包含各种数值运算函数,使用函数时直接调用。