mysql分组打印_对比MySQL学习Pandas的groupby分组聚合

最新推荐文章于 2023-05-17 19:40:00 发布
最新推荐文章于 2023-05-17 19:40:00 发布
阅读量175 收藏
点赞数
文章标签： mysql分组打印
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42346693/article/details/114832469
版权

对比MySQL学习Pandas的groupby分组聚合

黄伟呢 凹凸数据

01

MySQL和Pandas做分组聚合的对比说明

1)都是用来处理表格数据

不管是mysql，还是pandas，都是处理像excel那样的二维表格数据的。对于一个二维表，每一行都可以看作是一条记录，每一列都可以看作是字段。

2)分组聚合的风格不同

学过mysql的人都知道，mysql在做数据处理和统计分析的时候，有一个很大的痛点：语法顺序和执行顺序不一致，这就导致很多初学者很容易写错sql语句。

业界处理像excel那样的二维表格数据，通常有如下两种风格：

* DSL风格：使用面向对象的方式来操作，pandas就是采用这种方式，通俗说就是“语法顺序和执行顺序一致”。

* SQL风格：写sql语句来处理。

3)从代码角度，说明两者的不同

① mysql

语法顺序：

SELECT Column1, Column2, mean(Column3), sum(Column4)

FROM SomeTable

WHERE Condition 1

GROUP BY Column1, Column2

HAVING Condition2

逻辑执行顺序：

from...where...group...select...having...limit

② pandas

语法顺序和逻辑执行顺序：

df[Condition1].groupby([Column1,Column2],as_index=False).agg({Column3: "mean",Column4:"sum"})

③ 图示说明

a70a4cd032865bbaf39aaefc6cb86467.png

首先from相当于取出MySQL中的一张表，对比pandas就是得到了一个df表对象。

然后就是执行where筛选，对比pandas就相当于写一个condition1过滤条件，做一个分组前的筛选筛选。

接着就是执行group分组条件，对比pandas就是写一个groupby条件进行分组。

再接着就是执行select条件，聚合函数就是写在select后面的，对比pandas就是执行agg()函数，在其中针对不同的列执行count、max、min、sum、mean聚合函数。

最后执行的是having表示分组后的筛选，在pandas中，通过上图可以发现我们得到了一个df1对象，针对这个df1对象，我们再做一次筛选，也表示分组后的筛选。

综上所述：只要你的逻辑想好了，在pandas中，由于语法顺序和逻辑执行顺序是一致的，你就按照逻辑顺序写下去，就很容易了。

4)用一个例子讲述MySQL和Pandas分组聚合

① 求不同deptno(部门)下，sal(工资)大于8000的部门、工资；

276a7ea381f97d2dfdfa67df07609522.png

② mysql中代码执行如下

select deptno,sum(sal) sums

from emp

group by deptno

having sums > 9000;

结果如下：

25217ad0cc48d29eabe03b60a2e9f164.png

③ pandas中代码执行如下

df = pd.read_excel(r"C:\Users\黄伟\Desktop\emp.xlsx")

display(df)

df = df.groupby("deptno",as_index=False).agg({"sal":"sum"})

display(df)

df1 = df[df["sal"]>9000]

display(df1)

结果如下：

31519f4733b877ba289d1927e609d2fd.png

02

groupby分组聚合的原理说明

1)原理图

44542a8ea557622ef4ffeb79f001cd35.png

2)原理说明

split：按照指定规则分组，由groupby实现；

apply：针对每个小组，使用函数进行操作，得到结果，由agg()函数实现；

combine：将每一组得到的结果，汇总起来，得到最终结果；

注意：combine这一步是自动完成的，因此针对pandas中的分组聚合，我们只需要学习两个内容，① 学习怎么分组；② 学习如何针对每个分组中的数据，进行对应的逻辑操作；

03

groupby分组对象的相关操作

我们可以通过groupby方法来对Series或DataFrame对象实现分组操作，该方法会返回一个分组对象。但是，如果直接查看(输出)该对象，并不能看到任何的分组信息。

1)groupby()函数语法

① 语法如下

* groupby(by=["字段1","字段2",...],as_index=True)

② 参数说明

* by参数传入的分组字段，当只有一个字段的时候，可以直接写by="字段1"。当多字段联合分组的时候，就写成列表形式by=["字段1","字段2"]。

* as_index参数的使用如图所示

a78bdbe7aace3c6f960b282e5b399704.png

③ 参数as_index的使用说明

x = {"name":["a","a","b","b","c","c","c"],"num":[2,4,0,5,5,10,15]}

df = pd.DataFrame(x)

display(df)

df.groupby("name",as_index=True).agg({"num":"sum"})

df.groupby("name",as_index=False).agg({"num":"sum"})

结果如下：

b72b930ebbe16cd6654fd33265207a1b.png

2)groupby分组对象的常用方法或属性。

① groups属性：返回一个字典，key表示组名，value表示这一组中的所有记录；

② size()方法：返回每个分组的记录数；

x = {"name":["a","a","b","b","c","c","c"],"num":[2,4,0,5,5,10,15]}

df = pd.DataFrame(x)

display(df)

df.groupby("deptno").groups

df.groupby("deptno").size()

结果如下：

399953c60f059329ef7967969eb284d9.png

3)使用for循环打印groupby()分组对象中每一组的具体数据

x = {"name":["a","a","b","b","c","c","c"],"num":[2,4,0,5,5,10,15]}

df = pd.DataFrame(x)

display(df)

groupdf = df.groupby("name")

for (x,y) in groupdf:

display(x, y)

结果如下：

c2b0a0517b6d50e72100de048bcf712e.png

4)groupby()分组参数的4种形式

使用groupby进行分组时，分组的参数可以是如下的形式：

* 单字段分组：根据df中的某个字段进行分组。

* 多字段分组：根据df中的多个字段进行联合分组。

* 字典或Series：key指定索引，value指定分组依据，即value值相等的记录，会分为一组。

* 自定义函数：接受索引，索引相同的记录，会分为一组。

使用如下数据演示这4种分组参数：

df = pd.DataFrame({"部门":["A", "A", "B", "B"],

"小组":["g1", "g2", "g1", "g2"],

"利润":[10, 20, 15, 28],

"人员":["a", "b", "c", "d"],

"年龄":[20, 15, 18, 30]})

display(df)

结果如下：

0ccecbb753aa5b6ee064422a8c251ce6.png

① 单字段分组：根据df中的某个字段进行分组。

g = df.groupby("部门")

display(g)

for (x,y) in g:

display(x, y)

结果如下：

b5ef26adf18b3246495cd457c3bbdcc0.png

② 多字段分组：根据df中的多个字段进行联合分组。

g = df.groupby("部门")

display(g)

for (x,y) in g:

display(x, y)

结果如下：

2e7d4f4c70be83c329c3142035dc7b2b.png

③ 字典：key指定索引，value指定分组依据，即value值相等的记录，会分为一组。

g = df.groupby({0:1, 1:1, 2:1, 3:2})

display(g)

for (x,y) in g:

display(x, y)

结果如下：

7e26942c573d7c853f6d4238eef0f8dc.png

④ Series：分组排序(很重要)

df = pd.DataFrame({"部门":["A", "A", "A", "B", "B", "B"],

"利润":[10, 32, 20, 15, 28, 10],

"销售量":[20, 15, 33, 18, 30, 22]})

display(df)

df["排名"] = df["销售量"].groupby(df["部门"]).rank()

df

结果如下：

dc9b7612b92b72ec8c45ede5b1e7d610.png

⑤ 自定义函数：将部门A、B分为一组，C单独成为一组(很特别的需求)

df = pd.DataFrame({"部门":["A", "A", "B", "B", "C", "C"],

"小组":["g1", "g2", "g1", "g2", "g1", "g2"],

"利润":[10, 20, 15, 28, 12, 14],

"人员":["a", "b", "c", "d", "e", "f"],

"年龄":[20, 15, 18, 30, 23, 34]})

df = df.set_index("部门")

display(df)

def func(x):

if x=="A" or x=="B":

return 0

else:

return 1

g = df.groupby(func)

display(g)

for (x,y) in g:

display(x, y)

结果如下：

8c41d07a59bfb153a70cc7f8ca72781f.png

04

agg()聚合操作的相关说明

当使用了groupby()分组的时候，得到的就是一个分组对象。当没有使用groupby()分组的时候，整张表可以看成是一个组，也相当于是一个分组对象。

针对分组对象，我们既可以直接调用聚合函数sum()、mean()、count()、max()、min()，还可以调用分组对象的agg()方法，然后像agg()中传入指定的参数。

1)直接针对分组对象，调用聚合函数

① 针对df整张表，直接调用聚合函数

df = pd.DataFrame({"部门":["A", "A", "B", "B", "C", "C"],

"小组":["g1", "g2", "g1", "g2", "g1", "g2"],

"利润":[10, 20, 15, 28, 12, 14],

"人员":["a", "b", "c", "d", "e", "f"],

"年龄":[20, 15, 18, 30, 23, 34]})

display(df)

df["利润"].mean()

df[["年龄","利润"]].mean()

结果如下：

847d6399e871de8f90bba4e30fc566b1.png

② 针对df分组后的对象，直接调用聚合函数

df = pd.DataFrame({"部门":["A", "A", "B", "B", "C", "C"],

"小组":["g1", "g2", "g1", "g2", "g1", "g2"],

"利润":[10, 20, 15, 28, 12, 14],

"人员":["a", "b", "c", "d", "e", "f"],

"年龄":[20, 15, 18, 30, 23, 34]})

display(df)

df.groupby("部门")["利润"].mean()

df.groupby("部门").mean()

结果如下：

e713eb061b81844592afb42ce8e4d91d.png

2)直接针对分组对象，调用agg()函数(很重要)

下面知识的讲解，涉及到“聚合函数字符串”，这是我自己起的名字，类似于"sum"、"mean"、"count"、"max"、"min"，都叫做“聚合函数字符串”。同时还需要注意一点，agg()函数中还有一个axis参数，用于指定行、列。

* df.agg("mean")

* df.agg(["mean", "sum", "max"])

* df.agg({"利润":["mean", "sum"] , "年龄":["max", "min"]})

* df.agg(lambda x: x.mean())

① 传入单个聚合函数字符串

df = pd.DataFrame({"部门":["A", "A", "B", "B"],

"利润":[10, 20, 15, 28],

"年龄":[20, 15, 18, 30]})

display(df)

df1 = df.groupby("部门").agg("mean")

display(df1)

结果如下：

9b645e8204841fbb871dc20d4f5f650c.png

② 传入多个聚合函数字符串

df = pd.DataFrame({"部门":["A", "A", "B", "B"],

"利润":[10, 20, 15, 28],

"年龄":[20, 15, 18, 30]})

display(df)

df1 = df.groupby("部门").agg(["sum","mean"])

display(df1)

结果如下：

bd75847e025d753ee6659dd6540da003.png

③ 传入一个字典：可以针对不同的列，提供不同的聚合信息。

df = pd.DataFrame({"部门":["A", "A", "B", "B"],

"利润":[10, 20, 15, 28],

"年龄":[20, 15, 18, 30]})

display(df)

df1 = df.groupby("部门").agg({"利润":["sum","mean"],"年龄":["max","min"]})

display(df1)

结果如下：

7b050100bf481204d0bb5de0566f2fe2.png

④ 传入自定义函数

df = pd.DataFrame({"部门":["A", "A", "A", "B", "B", "B"],

"利润":[10, 32, 20, 15, 28, 10],

"销售量":[20, 15, 33, 18, 30, 22]})

display(df)

df.groupby("部门").agg(lambda x:x.max()-x.min())

结果如下：

8f2274eb36b9c2bed6e602e4b1392a8d.png

我不是可爱是什么
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql二维分组_对比MySQL学习Pandas的groupby分组聚合
weixin_28972687的博客
01-19 481
原标题：对比MySQL学习Pandas的groupby分组聚合如若转载请联系原公众号01MySQL和Pandas做分组聚合的对比说明1)都是用来处理表格数据不管是mysql，还是pandas，都是处理像excel那样的二维表格数据的。对于一个二维表，每一行都可以看作是一条记录，每一列都可以看作是字段。2)分组聚合的风格不同学过mysql的人都知道，mysql在做数据处理和统计分析的时候，有一个很大...
二维GROUP BY
weixin_30484739的博客
06-10 105
上午参加了个计算机英语三级考试，回来后BA同事让帮忙统计数据。可能刚考完试思维比较混乱， 整理了好大一会没有想明白怎么写。 最后挣扎了快一个小时终于想起来，记下来留个备份； select store_no, brand_code, count(distinct t.dealer_code) from juran.emall_booth_contract t ...
mysql二维分组,mysql-SQL如何按两列分组
weixin_32258919的博客
03-23 1069
贝娄是一个示例表.ID FROM TO DATE1 Number1 Number2 somedate2 Number2 Number1 somedate3 Number2 Number1 somedate4 Number3 Number1 somedate5 Number3 Numb...
读书记录——pandas中的分组方法groupby（二）
XD的博客
01-07 558
续接读书记录——pandas中的分组方法groupby（一）。 6、逐级多列运用聚合函数 1)简单例子 #使用 小费数据集。进行测试 tips = pd.read_csv('/Users/daxu/vsCodePy/study_ws/pydata-book/examples/tips.csv') # 增加维度属性，小费比例 tips['tip_pct'] = tips['tip'] / tips['total_bill'] #对 day 和 smoker 来进行分组 grouped = tips.group
python二维数组分组合计 itertools groupby
吃不胖的程序猿历程
05-18 2073
python二维数组分组合计 itertools groupby 提供简单思路 from itertools import groupby a = [['a', 'b', 1, 2, 3], ['a', 'c', 1, 2, 3], ['a', 'd', 1, 2, 3], ['b', 'b', 1, 2, 3], ['b', 'c', 1, 2, 3], ['a', 'e', 1, 2, 3], ] a.sort(key=lambda x:
Python + MySQL 0基础从入门到精通 MySQL数据库实战精讲教程课件
最新发布
05-02
- 查询数据，掌握`SELECT`语句的基本用法，包括WHERE子句、聚合函数（COUNT、SUM、AVG等）、GROUP BY和HAVING子句。 3. **索引和函数**： - 索引的作用是提高查询性能，理解B树和哈希索引的区别。 - 常用函数：...
使用MySQL、SQLite、Tableau、Apache Spark的SQL数据分析和可视化项目 仅供学习参考用代码.rar
05-14
2. SQL查询：编写复杂的SELECT语句，学习JOIN、WHERE、GROUP BY等子句的使用。 3. 分析和预处理：在Spark上执行数据清洗和转换操作，利用pandas库和DataFrame API。 4. 可视化：使用Tableau创建各种图表，如折线图、...
11.Pandas、Matplotlib结合SQL语句可视化分析1
08-04
`，统计了每个小时内发布的博客数量，这涉及到了SQL的`GROUP BY`子句和聚合函数`COUNT()`，用于按小时分组并计算每个小时的博客数量。 3. **Python与MySQL的连接**： - 使用`MySQLdb`库连接到MySQL数据库，`...
saber学习教程和资料.zip
03-19
4. 数据聚合：通过groupby和agg函数进行数据聚合。 ```python aggregated_data = saber_df.groupby('category').agg({'value': 'sum'}) ``` 5. 数据连接：Saber支持内外连接操作。 ```python joined_data = saber_...
sql.rar_SQL 脚本
09-20
2. **CASE表达式**：在不支持PIVOT的数据库系统中，如MySQL，可以使用CASE表达式结合GROUP BY和聚合函数（如SUM、AVG等）来实现类似的功能。通过创建多个CASE语句，我们可以根据条件将行转换为列。 3. **动态SQL**...
pandas常用功能_4：groupby聚合
muyu9527的博客
07-03 328
pandas的merge和mysql的join用法基本一致，与之类似，pandas有个group by的方法与mysql的group by用法一致。
mysql分组打印_MYSQL, group by name 按名称分组.怎么将该组所有的记录一起显示出来啊......
weixin_35486751的博客
01-20 648
mysql> select k, count(*) c from tbl group by k order by k limit 5;+---+---+| k | c |+---+---+| 2 | 3 || 4 | 1 || 5 | 2 || 8 | 1 || 9 | 1 |+---+---+5 rows in set (0.00 sec)mysql> explain select ...
mysql中group by使用_mysql中的group by如何使用
weixin_28705579的博客
01-19 189
mysql中的group by的使用方法：【SELECT * FROM table_name WHERE column_name GROUP BY column_name;】。group by语句根据一个或多个列对结果集进行分组。GROUP BY 语句根据一个或多个列对结果集进行分组。在分组的列上我们可以使用 COUNT, SUM, AVG,等函数。(推荐教程：mysql视频教程)语法格式：SEL...
php mysql 二维数组_PHP操作 二维数组模拟mysql函数
weixin_39693437的博客
01-19 88
PHP操作 二维数组模拟mysql函数public function monimysqltest(){$testarray=array(array('ss'=>'1','dd'=>'11'),array('ss'=>'2','dd'=>'22'),array('ss'=>'3','dd'=>'33'),array('ss'=>'4','dd'=>'4...
Pandas Power Play: 构建数据帝国的两表JOIN和group by之旅
alike_u的博客
05-17 560
在数据分析的过程中，常常需要把多张表格进行合并，或者按照某些规则进行分组统计。Pandas是Python中一个非常强大的数据处理库，其中的JOIN和group by函数能够帮助我们轻松地完成这些任务。本教程将详细介绍如何使用这两个函数，让你在数据分析的道路上更加游刃有余！
Mysql（11）——group by的用法
weixin_48445640的博客
10-04 1218
group by的作用是将字段中相等的分为一组： （1）直接用法 如上：可以见得：将两种数据分了出来：0和1。 （2）与group_concat()联用 group_concat()的作用是统计每个分组（如上即is_deleted分组）指定字段（即name）的信息集合，每个信息之间（即name信息）使用逗号进行分割，这样就可以直观地看出当is_deleted=0和is_deleted=1分别对应的name。 （3）与聚合函数联用 这样就可以看出is_deleted=0和is_deleted=1时各自id
group by与聚合函数结合时常见的错误
koding7879的博客
10-09 5370
与聚合函数和Group by 子句有关的常见错误 常见错误1：在select子句中书写了多余的列 。 在使用count这样的聚合函数时，select子句中的元素有严格的限制。实际上，在使用聚合函数时，select 子句中只能存在以下三种元素 ①常数 ②聚合函数 ③group by 子句中指定的列明（也就是聚合键） 例： 常数就是像数字123，或者字符串‘测试’这样写在sql语句中的固定值，将常数直接写在select子句中没有任何问题。此外还可以书写聚合函数或者聚合键，这些在之前的示例代码中都已经出现过了。
输出分组_python(pandas)分组与聚合统计
weixin_39796878的博客
01-15 1235
Pandas分组聚合语法：df [Condition1].groupby([Column1, Column2], as_index=False).agg({Column3: "mean", Column4:"sum"}).filter(Condition2)一、groupby分组我们可以通过groupby方法来对Series或DataFrame对象实现分组操作。该方法会返回一个分组对象。...
mysql group by 用法解析(详细)
热门推荐
hjwang1的专栏
02-18 1万+
转自：http://www.5iphp.com/comment/3 group by 用法解析 group by语法可以根据给定数据列的每个成员对查询结果进行分组统计，最终得到一个分组汇总表。 SELECT子句中的列名必须为分组列或列函数。列函数对于GROUP BY子句定义的每个组各返回一个结果。 某个员工信息表结构和数据如下：   id  name  dept  s
pandas的groupby 和 mysql的group by作用一样吗
09-12
pandas的groupby和MySQL的group by在功能上是相似的，都是用来进行数据的分组和聚合操作。它们都可以根据指定的列或条件将数据进行分组，并对每个分组进行聚合计算。在pandas中，可以使用groupby方法来实现分组操作，并结合聚合函数（如count、sum、mean等）对分组后的数据进行计算。而在MySQL中，可以使用group by语句来实现同样的功能，通过指定group by的列来进行分组，然后使用聚合函数进行计算。因此，可以说pandas的groupby和MySQL的group by在作用上是一样的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值