Python Pandas实现数据分组求平均值并填充nan

Python实现按某一列关键字分组,并计算各列的平均值,并用该值填充该分类该列的nan值。

DataFrame数据格式

以下是数据存储形式:
行业数据

fillna方式实现

  1. 按照industryName1列,筛选出业绩
  2. 筛选出相同行业的Series
  3. 计算平均值mean,采用fillna函数填充
  4. append到新DataFrame中
  5. 循环遍历行业名称,完成2,3,4步骤
factordatafillna = pd.DataFrame()
industrys = newfactordata1.industryName1.unique()
for ind in industrys:
    t = newfactordata1.industryName1 == ind
    a = newfactordata1[t].fillna(newfactordata1[t].mean())
    factordatafillna = factordatafillna.append(a)

groupby方式实现

采用groupby计算,详细见代码注释


df = pd.DataFrame({'code':[1,2,3,4,5,6,7,8],
                   'value':[np.nan,5,7,8,9,10,11,12],                   
                   'value2':[5,np.nan,7,np.nan,9,10,11,12],
                   'indstry':['农业1','农业1','农业1','农业2','农业2','农业4','农业2','农业3']},
                    columns=['code','value','value2','indstry'],
                    index=list('ABCDEFGH'))

# 只留下需要处理的列
cols = [col for col in df.columns if col not in['code','indstry']]
# 分组的列
gp_col = 'indstry'
# 查询nan的列
df_na = df[cols].isna()
# 根据分组计算平均值
df_mean = df.groupby(gp_col)[cols].mean()

print(df)

# 依次处理每一列
for col in cols:
    na_series = df_na[col]
    names = list(df.loc[na_series,gp_col])     

    t = df_mean.loc[names,col]
    t.index = df.loc[na_series,col].index

    # 相同的index进行赋值     
    df.loc[na_series,col] = t

print(df)
code  value  value2 indstry
A     1    NaN     5.0     农业1
B     2    5.0     NaN     农业1
C     3    7.0     7.0     农业1
D     4    8.0     NaN     农业2
E     5    9.0     9.0     农业2
F     6   10.0    10.0     农业4
G     7   11.0    11.0     农业2
H     8   12.0    12.0     农业3
   code  value  value2 indstry
A     1    6.0     5.0     农业1
B     2    5.0     6.0     农业1
C     3    7.0     7.0     农业1
D     4    8.0    10.0     农业2
E     5    9.0     9.0     农业2
F     6   10.0    10.0     农业4
G     7   11.0    11.0     农业2
H     8   12.0    12.0     农业3
  • 12
    点赞
  • 85
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值