基尼系数近似计算:sql (hive)实现 简单高效

本文介绍如何在Hive SQL中通过近似方法计算基尼系数,详细阐述了利用over函数进行分组和累计求和的步骤,并提供了简化后的计算公式。随着分组数量的增加,近似精度提高,当分组与样本数量相等时,结果与实际值一致。
摘要由CSDN通过智能技术生成

通过近似的方法,如何在sql中计算基尼系数。

如何在python中实现基尼系数计算的两种方法,可以查看我的另一篇文章。两篇文章取数相同,可以结合去看。

如果想加深对基尼系数计算的逻辑:可查看文章基尼系数计算方法 - longwind09 - 博客园

本文中采用的近似方法,如何建立近似计算公式、如何简化推导公式可查看文章,本文基于这篇文章进行注释

http://www.360doc.com/content/14/0911/13/87990_408644530.shtml

 -------------------------------------------------------------------------------------------------

近似的精确度取决于分组数量。如果样本数量为100个,如果分组数量为100,近似的方法取得的结果跟实际值相等。

但随着分组数量的减少,精确度也减少。

本文是在hive中实现,需要使用到hive中的over函数。

包括如何使用over函数进行分组、计算每组的总和以及取得累计加和等等。

使用文章中的近似公式推导简化,最后得到下面的公式。


                
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值