Pandas 十三：怎样实现DataFrame的Merge

最新推荐文章于 2024-05-01 23:04:38 发布
最新推荐文章于 2024-05-01 23:04:38 发布
阅读量365 收藏
点赞数
分类专栏： Pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cai_and_luo/article/details/117118677
版权

Pandas 十三：怎样实现DataFrame的Merge

Pandas的Merge，相当于Sql的Join，将不同的表按key关联到一个表

merge的语法：

pd.merge(left, right, how=‘inner’, on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=True, suffixes=(‘x’, ‘y’), copy=True, indicator=False, validate=None)

  • left，right：要merge的dataframe或者有name的Series
  • how：join类型，‘left’, ‘right’, ‘outer’, ‘inner’
  • on：join的key，left和right都需要有这个key
  • left_on：left的df或者series的key
  • right_on：right的df或者seires的key
  • left_index，right_index：使用index而不是普通的column做join
  • suffixes：两个元素的后缀，如果列有重名，自动添加后缀，默认是(‘x’, ‘y’)

文档地址：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.merge.html

本次讲解提纲：

1.电影数据集的join实例
2.理解merge时一对一、一对多、多对多的数量对齐关系
3.理解left join、right join、inner join、outer join的区别
4.如果出现非Key的字段重名怎么办

1、电影数据集的join实例

电影评分数据集

是推荐系统研究的很好的数据集
位于本代码目录：./datas/movielens-1m

包含三个文件：

1.用户对电影的评分数据 ratings.dat
2.用户本身的信息数据 users.dat
3.电影本身的数据 movies.dat
可以关联三个表，得到一个完整的大表

数据集官方地址：https://grouplens.org/datasets/movielens/

1

import pandas as pd
No output

2

df_ratings = pd.read_csv(
    "./datas/movielens-1m/ratings.dat", 
    sep="::",
    engine='python', 
    names="UserID::MovieID::Rating::Timestamp".split("::")
)
No output

3

df_ratings.head()

3

UserID	MovieID	Rating	Timestamp
0	1	1193	5	978300760
1	1	661	3	978302109
2	1	914	3	978301968
3	1	3408	4	978300275
4	1	2355	5	978824291

4

df_users = pd.read_csv(
    "./datas/movielens-1m/users.dat", 
    sep="::",
    engine='python', 
    names="UserID::Gender::Age::Occupation::Zip-code".split("::")
)
No output

5

df_users.head()

5

UserID	Gender	Age	Occupation	Zip-code
0	1	F	1	10	48067
1	2	M	56	16	70072
2	3	M	25	15	55117
3	4	M	45	7	02460
4	5	M	25	20	55455

6

df_movies = pd.read_csv(
    "./datas/movielens-1m/movies.dat", 
    sep="::",
    engine='python', 
    names="MovieID::Title::Genres".split("::")
)
No output

7

df_movies.head()

7

MovieID	Title	Genres
0	1	Toy Story (1995)	Animation|Children's|Comedy
1	2	Jumanji (1995)	Adventure|Children's|Fantasy
2	3	Grumpier Old Men (1995)	Comedy|Romance
3	4	Waiting to Exhale (1995)	Comedy|Drama
4	5	Father of the Bride Part II (1995)	Comedy

8

df_ratings_users = pd.merge(
   df_ratings, df_users, left_on="UserID", right_on="UserID", how="inner"
)
No output

9

df_ratings_users.head()

9

UserID	MovieID	Rating	Timestamp	Gender	Age	Occupation	Zip-code
0	1	1193	5	978300760	F	1	10	48067
1	1	661	3	978302109	F	1	10	48067
2	1	914	3	978301968	F	1	10	48067
3	1	3408	4	978300275	F	1	10	48067
4	1	2355	5	978824291	F	1	10	48067

10

df_ratings_users_movies = pd.merge(
    df_ratings_users, df_movies, left_on="MovieID", right_on="MovieID", how="inner"
)
No output

11

df_ratings_users_movies.head(10)

11

UserID	MovieID	Rating	Timestamp	Gender	Age	Occupation	Zip-code	Title	Genres
0	1	1193	5	978300760	F	1	10	48067	One Flew Over the Cuckoo's Nest (1975)	Drama
1	2	1193	5	978298413	M	56	16	70072	One Flew Over the Cuckoo's Nest (1975)	Drama
2	12	1193	4	978220179	M	25	12	32793	One Flew Over the Cuckoo's Nest (1975)	Drama
3	15	1193	4	978199279	M	25	7	22903	One Flew Over the Cuckoo's Nest (1975)	Drama
4	17	1193	5	978158471	M	50	1	95350	One Flew Over the Cuckoo's Nest (1975)	Drama
5	18	1193	4	978156168	F	18	3	95825	One Flew Over the Cuckoo's Nest (1975)	Drama
6	19	1193	5	982730936	M	1	10	48073	One Flew Over the Cuckoo's Nest (1975)	Drama
7	24	1193	5	978136709	F	25	7	10023	One Flew Over the Cuckoo's Nest (1975)	Drama
8	28	1193	3	978125194	F	25	1	14607	One Flew Over the Cuckoo's Nest (1975)	Drama
9	33	1193	5	978557765	M	45	3	55421	One Flew Over the Cuckoo's Nest (1975)	Drama

2、理解merge时数量的对齐关系

以下关系要正确理解：

  • one-to-one：一对一关系，关联的key都是唯一的
    • 比如(学号，姓名) merge (学号，年龄)
    • 结果条数为：1*1
  • one-to-many：一对多关系，左边唯一key，右边不唯一key
    • 比如(学号，姓名) merge (学号，[语文成绩、数学成绩、英语成绩])
    • 结果条数为：1*N
  • many-to-many：多对多关系，左边右边都不是唯一的
    • 比如（学号，[语文成绩、数学成绩、英语成绩]） merge (学号，[篮球、足球、乒乓球])
    • 结果条数为：M*N
2.1 one-to-one 一对一关系的merge

12

left = pd.DataFrame({'sno': [11, 12, 13, 14],
                      'name': ['name_a', 'name_b', 'name_c', 'name_d']
                    })
left

12

sno	name
0	11	name_a
1	12	name_b
2	13	name_c
3	14	name_d

13

right = pd.DataFrame({'sno': [11, 12, 13, 14],
                      'age': ['21', '22', '23', '24']
                    })
right

13

sno	age
0	11	21
1	12	22
2	13	23
3	14	24

14

# 一对一关系，结果中有4条
pd.merge(left, right, on='sno')

14

sno	name	age
0	11	name_a	21
1	12	name_b	22
2	13	name_c	23
3	14	name_d	24
2.2 one-to-many 一对多关系的merge

注意：数据会被复制

15

left = pd.DataFrame({'sno': [11, 12, 13, 14],
                      'name': ['name_a', 'name_b', 'name_c', 'name_d']
                    })
left

15

sno	name
0	11	name_a
1	12	name_b
2	13	name_c
3	14	name_d

16

right = pd.DataFrame({'sno': [11, 11, 11, 12, 12, 13],
                       'grade': ['语文88', '数学90', '英语75','语文66', '数学55', '英语29']
                     })
right

16

sno	grade
0	11	语文88
1	11	数学90
2	11	英语75
3	12	语文66
4	12	数学55
5	13	英语29

17

# 数目以多的一边为准
pd.merge(left, right, on='sno')

17

sno	name	grade
0	11	name_a	语文88
1	11	name_a	数学90
2	11	name_a	英语75
3	12	name_b	语文66
4	12	name_b	数学55
5	13	name_c	英语29
2.3 many-to-many 多对多关系的merge

注意：结果数量会出现乘法

18

left = pd.DataFrame({'sno': [11, 11, 12, 12,12],
                      '爱好': ['篮球', '羽毛球', '乒乓球', '篮球', "足球"]
                    })
left

18

sno	爱好
0	11	篮球
1	11	羽毛球
2	12	乒乓球
3	12	篮球
4	12	足球

19

right = pd.DataFrame({'sno': [11, 11, 11, 12, 12, 13],
                       'grade': ['语文88', '数学90', '英语75','语文66', '数学55', '英语29']
                     })
right

19

sno	grade
0	11	语文88
1	11	数学90
2	11	英语75
3	12	语文66
4	12	数学55
5	13	英语29

20

pd.merge(left, right, on='sno')

20

sno	爱好	grade
0	11	篮球	语文88
1	11	篮球	数学90
2	11	篮球	英语75
3	11	羽毛球	语文88
4	11	羽毛球	数学90
5	11	羽毛球	英语75
6	12	乒乓球	语文66
7	12	乒乓球	数学55
8	12	篮球	语文66
9	12	篮球	数学55
10	12	足球	语文66
11	12	足球	数学55

3、理解left join、right join、inner join、outer join的区别

21

left = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],
                      'A': ['A0', 'A1', 'A2', 'A3'],
                      'B': ['B0', 'B1', 'B2', 'B3']})

right = pd.DataFrame({'key': ['K0', 'K1', 'K4', 'K5'],
                      'C': ['C0', 'C1', 'C4', 'C5'],
                      'D': ['D0', 'D1', 'D4', 'D5']})
No output

22

left

22

key	A	B
0	K0	A0	B0
1	K1	A1	B1
2	K2	A2	B2
3	K3	A3	B3

23

right

23

key	C	D
0	K0	C0	D0
1	K1	C1	D1
2	K4	C4	D4
3	K5	C5	D5
3.1 inner join，默认

左边和右边的key都有，才会出现在结果里
24

pd.merge(left, right, how='inner')

24

key	A	B	C	D
0	K0	A0	B0	C0	D0
1	K1	A1	B1	C1	D1
3.2 left join

左边的都会出现在结果里，右边的如果无法匹配则为Null
25

pd.merge(left, right, how='left')

25

key	A	B	C	D
0	K0	A0	B0	C0	D0
1	K1	A1	B1	C1	D1
2	K2	A2	B2	NaN	NaN
3	K3	A3	B3	NaN	NaN
3.3 right join

右边的都会出现在结果里，左边的如果无法匹配则为Null
26

pd.merge(left, right, how='right')

26

key	A	B	C	D
0	K0	A0	B0	C0	D0
1	K1	A1	B1	C1	D1
2	K4	NaN	NaN	C4	D4
3	K5	NaN	NaN	C5	D5
3.4 outer join

左边、右边的都会出现在结果里，如果无法匹配则为Null
27

pd.merge(left, right, how='outer')

27

key	A	B	C	D
0	K0	A0	B0	C0	D0
1	K1	A1	B1	C1	D1
2	K2	A2	B2	NaN	NaN
3	K3	A3	B3	NaN	NaN
4	K4	NaN	NaN	C4	D4
5	K5	NaN	NaN	C5	D5

4、如果出现非Key的字段重名怎么办

28

left = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],
                      'A': ['A0', 'A1', 'A2', 'A3'],
                      'B': ['B0', 'B1', 'B2', 'B3']})

right = pd.DataFrame({'key': ['K0', 'K1', 'K4', 'K5'],
                      'A': ['A10', 'A11', 'A12', 'A13'],
                      'D': ['D0', 'D1', 'D4', 'D5']})
No output

29

left

29

key	A	B
0	K0	A0	B0
1	K1	A1	B1
2	K2	A2	B2
3	K3	A3	B3

30

right

30

key	A	D
0	K0	A10	D0
1	K1	A11	D1
2	K4	A12	D4
3	K5	A13	D5

31

pd.merge(left, right, on='key')

31

key	A_x	B	A_y	D
0	K0	A0	B0	A10	D0
1	K1	A1	B1	A11	D1

32

pd.merge(left, right, on='key', suffixes=('_left', '_right'))

32

key	A_left	B	A_right	D
0	K0	A0	B0	A10	D0
1	K1	A1	B1	A11	D1
蔡大远
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pandas使用merge函数将多个数据连接起来、设置how参数为inner指定内连接（inner join）、on参数指定两个dataframe的连接字段列表（基于多个字段对数据集进行连接）
statistics+insight+vista+power
01-07 784
pandas使用merge函数将多个dataframe数据连接起来、设置how参数为inner指定内连接（inner join）、on参数指定两个dataframe的连接字段列表（基于多个字段对数据集进行连接）
【pandas】[3] DataFrame 数据合并，连接（merge,join,concat)
热门推荐
LiangHC
05-25 34万+
作者：lianghc 连接：http://blog.csdn.net/zutsoft/article/details/51498026 merge  通过键拼接列 pandas提供了一个类似于关系数据库的连接(join)操作的方法merage,可以根据一个或多个键将不同DataFrame中的行连接起来 语法如下： merge(left, right, how='inner', on=No...
pandas dataframe的合并实现（append, merge, concat）
09-19
主要介绍了pandas dataframe的合并实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Python Pandas pandas.DataFrame.join函数方法的使用
最新发布
weixin_42098295的博客
05-01 289
方法用于将两个DataFrame对象按照它们的索引（index）或者某个特定的列（column）进行连接。连接操作可以类比于SQL中的JOIN操作，允许你将两个DataFrame的数据合并起来。
python 数据合并函数merge( )_DataFrame 数据合并实现(merge，join，concat)
weixin_39986171的博客
11-29 850
mergemerge 函数通过一个或多个键将数据集的行连接起来。场景：针对同一个主键存在的两张包含不同特征的表，通过主键的链接，将两张表进行合并。合并之后，两张表的行数不增加，列数是两张表的列数之和。def merge(left, right, how='inner', on=None, left_on=None, right_on=None,left_index=False, right_ind...
pandas之DataFrame的连接函数join()介绍
会飞的哼哧的博客
07-04 4万+
pandas.DataFrame.join 原文参考于https://www.jianshu.com/p/2358d4013067 通过索引或者指定的列连接两个DataFrame。 DataFrame.join(other, on=None, how=’left’, lsuffix=”, rsuffix=”, sort=False) 参数说明 other:【DataFrame，或者带有名字的Se...
Pandas 合并多个Dataframe(merge,concat)的方法
01-20
在数据处理的时候，尤其在搞...pandas中有个merge函数可以做到这个实用的功能，merge这个词会点SQL语言的应该都不陌生。 下面说说merge函数怎么用： df = pd.merge(df1, df2, how='left', on='user_id') 用法很简
Pandas合并DataFrame：Merge, Join, Concat, Append【Pandas入门教程6】
08-31
Pandas合并DataFrame_Merge,_Join,_Concat,_Append【Pandas入门教程6】
PySpark中DataFrame的join操作
数据科学知识库
12-20 1453
常见的类型有 “inner”, “outer”, “left_outer”, “right_outer”, “leftsemi”。在进行 JOIN 操作时，如果两个 DataFrame 有相同的列名，可能需要使用别名（alias）来避免列名冲突。on 参数是一个字符串（单列名）或一个列表（多列名）或一个表达式，指定了合并的基准。包含左边 DataFrame 的所有行，以及与右边 DataFrame 匹配的行。包含右边 DataFrame 的所有行，以及与左边 DataFrame 匹配的行。
在python的dataframe中进行类似于mysql的join操作(持续更新)
微电子学与固体电子学-俞驰
09-10 1183
Mysql准备工作: T1 T2 T3 操作 mysql mysql结果 inner join select * from T1 inner join T2 on T1.user_id = T2.user_id left outer join select * from T1 left outer join T2 on T1.use...
pyspark中DataFrame之间的join操作
Airstudy的博客
11-23 1762
在pyspark中加载sql之后，会经常遇到各DataFrame之间的join操作，以下给出集中join的调用方式。
Pandas详解十八之DataFrame对象的-Join合并
yungeisme的博客
06-11 1万+
约定： import pandas as pd 对象的实例方法-Join DataFrame对象有个df.join()方法也能进行pd.merge()的合并，它能更加方便地按照对象df的索引进行合并，且能同时合并多个DataFrame对象。它具有如下参数： df.join(other, on=None, how=’left’, lsuffix=”, rsuffi...
Apache Spark Dataframe Join语法教程
kwame211的博客
04-24 671
始终考虑将RDD转换为Dataframe数据帧，执行请求的操作并保存结果......这是节省时间最多的方法。那么让我们深入研究Dataframe数据帧测试 数据workers： 1,Jerry,man,USA 2,Cathy,female,GBR 3,Teresa,female,GBR 4,Rut,female,USA 5,Roasie,female,A...
pandas.Dataframe 的合并
爱看恐怖片的博客
05-04 1万+
对于”group by”操作，我们通常是指以下一个或多个操作步骤： （Splitting）按照一些规则将数据分为不同的组； （Applying）对于每组数据分别执行一个函数； （Combining）将结果组合到一个数据结构中；pandas提供了一个类似于关系数据库的连接(join)操作的方法merage,可以根据一个或多个键将不同DataFrame中的行连接起来merge(left, righ
python中的join函数连接dataframe_Python Pandas pandas.DataFrame.join函数方法的使用
weixin_39597868的博客
12-29 2268
DataFrame.join(other,on=None,how='left',lsuffix='',rsuffix='',sort=False)源代码在索引或键列上与其他DataFrame连接列。通过传递列表，有效地通过索引连接多个DataFrame对象。参数：other：DataFrame，具有名称字段集的Series，或DataFrame列表索引，应该类似于此列中的一列。如果传递了...
【文末送书】DataFrame数据合并
你不来，再美的天地，都狼藉 ~
07-18 5396
本文主要带大家了解 pandas 中的数据合并3个函数，在后面的学习中会经常使用到。
Pandas系列学习教程——11 pandas实现DataFrame的Merge
lzylzy66的博客
03-12 916
随着人工智能的不断发展，数据分析这门技术也越来越重要，很多人都开启了学习数据分析，本文就介绍了pandas学习的基础内容。本章简单介绍了pandas实现DataFrame的Merge，具体讲解了Merge时的一对一和一对多，以及多对多数量问题。
dataframe踩坑日记之pd.merge()
weixin_51237377的博客
10-28 920
目标：读两个.csv文件，每个文件的第一列均为日期，但其它列包含的内容完全不一样，要把两个文件按日期将文件进行整合。 一般来说，有这一行代码足够了（读者可自行查询outer、on的含义）： df = pd.merge(df, df2, how="outer", on=["date"]) 但生成的数据显示on=[“date”]并没有起作用，同一个时间的数据并没有放在同一行，而是分两行存放了。 通过各种搜索，锁定问题的根源在于两者的date格式不匹配。既然这样，那就让两者的格式匹配吧。方法如下： df["da
Pandas数据分析基础：Series与DataFrame详解
“Pandas入门与实践课程主要涵盖了Python数据分析库Pandas的基础知识，包括Series和DataFrame数据结构，数据处理功能如缺失值处理、数据分组、数据分割与合并等。此外，还介绍了如何安装Pandas以及Series的创建方法...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值