pandas实现SQL ntile() over()方法

最新推荐文章于 2023-05-23 20:51:16 发布
最新推荐文章于 2023-05-23 20:51:16 发布
阅读量840 收藏 2
点赞数
文章标签： mysql hivesql pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23666479/article/details/103201029
版权
本文探讨了如何在pandas中实现类似SQL中的ntile() over()功能，用于将数据切分为特定比例的组。通过比较mysql 8.0的窗口函数与pandas的qcut和rank(pct=True)方法，分析了在数据分布不均匀时两者产生的差异，并提供了在pandas中获取数据排名前10%的用户的方法。
摘要由CSDN通过智能技术生成

表格如下
要计算2019年退款⾦额排名前10%的⽤户
在这里插入图片描述
mysql 8.0 支持窗口函数, 用ntile() over()
将数据按照顺序切分成n⽚，返回当前切⽚值

select a.user_name
from 
    (select user_name,
            sum(refund_amount) refund_amount,
            ntile(10) over(order
最低0.47元/天 解锁文章
80后生活黑客
关注
pandas 如何分割字符的实现方法
12-26
pandas有个一步到到位的方法，非常方便。 import pandas as pd data['name'].str.split('|',expand=True) 关键是参数expand，这个参数取True时，会把切割出来的内容当做一列。 如果不需要pandas为你分好列，expand=...
hive序列函数之ntile
weixin_36190755的博客
10-13 1164
ntile(n)over(order byxx) 它把有序的数据集合【平均分配】到指定的数量（n）个桶中, 将桶号分配给每一行。如果不能平均分配，则优先分配较小编号的桶，并且各个桶中能放的行数最多相差1。 例， 计算总成绩前50%用户 select name,sum(grade) as grade ,ntile(2)over(order by sum(grade) desc) as level from ( select '李一' as name,'语' as subject,80 as gr..
SQL随机分组与随机平均分组----ntile(组数) over(partition by 字段1 order by 字段2)
肥货
12-30 1万+
今天发现一个函数，ntile 直接看代码吧 select t.classno ,t.sno,t.score ntile(5) over(partition by classno order by t.sno) as ntile from t_score t order by ntile 意思：根据 classno 分组后再进行每个相同classno的集合尽量地平均分5组。 例如：一
hive 开窗函数over()
qq_28603127的博客
07-10 1341
开窗函数over()是将聚合函数以列的形式展开,替代之前需要join的处理 数据: CREATE TABLE `test`( `id` int, `class` string, `name` string, `score` int); insert into test values (1,'a','zhang',90), (2,'a','li',80), (3,'a','zhao',95), (4,'a','qian',85), (5,'a','sun',60), (6,'a',
数据分析实训 阶段二 模块二 mysql高级应用 by拉钩教育
qq_32795481的博客
08-30 280
一、窗口函数 1、窗口函数的定义 窗口函数，又称为分析函数，用于处理相对复杂的报表统计分析场景。mysql从8.0之后开始支持窗口函数。 窗口 窗口，又可以理解为记录的集合。 窗口函数也就是在满足某种条件的记录集合上执行的特殊函数。 窗口的分类 静态窗口：对于每条记录都要在此窗口内执行函数，窗口大小都是固定的，这种属于静态窗口； 滑动窗口：不同的记录对应着不同的窗口，这种动态变化的窗口叫滑动窗口。 窗口函数基本用法 函数名（[expr]） over子句 函数() over() over是关键字，用来指
【Python系列】python中分割字符串（含多种分割符）的方法
热门推荐
CSDN明星博主，认证博客专家，视频、Matlab领域优质创作者。
06-09 4万+
Date: 2018.6.9 文章目录1、 参考2、分割字符串的三种方法2.1 str.split()2.2 re.split()2.3 str.partition() 1、 参考 https://www.cnblogs.com/2bjiujiu/p/7254085.html https://www.cnblogs.com/baishoujing/p/7226210.html 2、分割字符串的三种方法 2.1 str.split() 利用字符串函数split分割，分割后返回的是分割部分的字符列表，但是
SQL-窗口函数进阶用法：ntile(),percent_rank(),cume_dist()
最新发布
weixin_47198715的博客
05-23 930
ntile(),percent_rank(),cume_dist()
一场Pandas与SQL的巅峰大战三1
08-03
在数据分析和处理中，Pandas和SQL都是常用工具，它们在日期操作方面有着各自的特点和优势。本篇文章主要探讨如何在Pandas和SQL中获取、转换和计算日期，特别是针对年月日时分秒和年月日这两种常见的日期格式。 首先...
pandas or sql计算前后两行数据间的增值方法
12-24
我的解决方案，可以通过python的pandas的diff来实现，也可以通过sql来实现，如下 import pandas as pd srcTable = pd.read_csv('pos1.csv') print(srcTable) destTable = srcTable.loc[srcTable.tid == 1, ['ts1', ...
pandas 层次化索引的实现方法
01-21
层次化索引是pandas的一项重要功能，它使你能在一个轴上拥有多个（两个以上）索引级别。 创建一个Series，并用一个由列表或数组组成的列表作为索引。 data=Series(np.random.randn(10), index=[['a','a','a','b','b...
排名函数NTILE高级应用
12-30
NTILE计算方法 使用NTILE实现班级学生分组，组数不定。
pandas去除重复列的实现方法
01-20
import pandas as pd import numpy as np data = pd.DataFrame(np.random.randint(low=1,high=20,size=(3,4))) data['id'] = range(1,4) # 输出：其中，最左边的0 1 2 为其索引 ② 另外一个数据表是3个用户的app...
PostgreSQL四类窗口函数总结
FlizhN的博客
04-29 4383
postgresql的窗口函数和Hive的hql基本一致，利用窗口函数能够解决绝大部分的常用业务数据分析需求。 先总结： 常用的4类窗口函数： 用于聚合计算的窗口函数：sum() over(); count() over(); avg() over; 用于分组排序的窗口函数：row_number() over(); rank() over(); 用于分组查询的窗口函数：ntile() o...
Hive窗口函数的使用
lihuazaizheli的博客
07-25 351
窗口函数 1.窗口函数介绍 窗口 ：函数运行/计算时 所对应的数据集范围 函数 ：执行的函数 (1)官方参考文档 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+WindowingAndAnalytics (2)Over与聚合函数结合使用官方介绍 The OVER clause OVER with standard aggregates: COUNT SUM MIN MAX AVG OVER with a PARTITION
窗口函数之ntile()函数讲解
石榴姐yyds
05-09 2万+
ntile NTILE(n)，用于将分组数据按照顺序切分成n片，返回当前切片值。将一个有序的数据集划分为多个桶(bucket)，并为每行分配一个适当的桶数（切片值，第几个切片，第几个分区等概念）。它可用于将数据划分为相等的小切片，为每一行分配该小切片的数字序号。 NTILE不支持ROWS BETWEEN，比如NTILE(2) OVER(PARTITION BY dept_no ORDER BY salary ROWS BETWEEN 3 PRECEDING - AND CURRENT ROW)。 如.
HIVE(3)-HIVESQL窗口函数
aggie4628的专栏
05-21 1108
HIVESQL窗口函数还是很好用的。MARK一下基本概念和语法。 1.累计计算：sum()、avg() 2.排序：row_number(),rank(),dense_rank（）3.前百分之多少：ntile() 4.偏移分析：lag() ,lead() 1.累计计算：sum()、avg() 1.1sum（）累计 a)开始时间为0 第一条数据开始 select a.month, a.pay_amount_1, --结果，非原始字段 ...
[Mysql] NTILE()函数
Hudas的博客
06-05 1389
本文主要讲解NTILE()函数的用法
【SQL面试】MySQL的NTILE函数使用
gzjgzj12345的博客
03-07 1510
MySQL的NTILE函数使用 MySQL的NTILE函数用于将一个数据集分成n个分组，每个分组中包含尽可能相等数量的行。该函数返回一个数字，该数字表示该行属于的分组号。 NTILE函数在ORDER BY子句中指定排序的列，然后将结果集按照该列的值从小到大或从大到小进行排序。然后，将排序后的结果集分成指定数量的组。NTILE函数为每个行分配一个组号，表示该行属于哪个组。 以下是NTILE函数的语法： NTILE(n) OVER ( [PARTITION BY&nbsp
hive窗口函数over()
TU_JCN的博客
07-23 3045
over()，指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化。
pandas如何实现sql里casewhen的效果
03-26
在pandas中可以使用numpy的where函数实现类似于SQL中的casewhen效果。 例如，假设有以下数据表df： ``` import pandas as pd df = pd.DataFrame({'A': ...以上就是在pandas中实现类似于SQL中casewhen的效果的方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值