DataFrame.merge()数据拼接导致数据维度增加？？

最新推荐文章于 2023-06-15 18:23:08 发布
最新推荐文章于 2023-06-15 18:23:08 发布
阅读量1.6k 收藏 1
点赞数 4
分类专栏： python 报错
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lekusun9671/article/details/90669082
版权

今天在处理数据的时候，进行数据拼接，两个包含1488条数据的df文件

同时两个df有公共列(因为害怕是公共列数据不一致原因导致维度发生变化，专门重新设置了一遍)

merge：

原因是：

公共列中存在重复值，第一列是公共列元素取值，第二列是每个元素出现的次数：

在merge的过程中，第一个df中的每个记录会与第二个df中所有与它有相同index值的记录拼接起来，所以上面的三个各重复两次的记录会与第二个表中具有与它相同的index的记录拼接生成两个记录，导致最终前三个记录生成了2*2*3=12条记录，去掉原本应该生成的6条记录，多个6条。

所以最后我将第二个df 中的所有特征一次插入第一个df中。

这种情况下有什么更快的处理办法吗？

我是刘某某
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python 数据框合并之后行变多了_python – pandas：merged(内部联接)数据框的行数多于原始行...
weixin_42309599的博客
01-28 3440
我在Jupyter Notebook上使用python 3.4,尝试合并两个数据框,如下所示：df_A.shape(204479, 2)df_B.shape(178, 3)new_df = pd.merge(df_A, df_B, how='inner', on='my_icon_number')new_df.shape(266788, 4)我认为上面合并的new_df应该比df_A少几行,因为...
pandas学习笔记—dataframe中的数据类型和相互转换
sunmingyang1987的博客
05-17 6702
常见的dataframe中的数据类型包括以下： Data type Description datetime64[ns] 这应该是numpy中的一种时间数据类型 str 字符类型 object 一种通用的数据类型，在没有明确指定类型下，所有数据都可认为是object类型 bool_ Boolean (True or False) stored as a byte int_ Default integer type (same as C long; normally either in
“pandas中的按列合并两个DataFram后行数增多“的解决办法
Hi_hai_Feng的博客
01-07 4234
定义两个Dataframe df1 = pd.DataFrame(data=[[1, 2, 3], [4, 5, 6], [7, 8, 9]], columns=['a', 'b', 'c'], index=[0, 1, 2]) df2 = pd.DataFrame(data=[[11], [22], [33]], columns=['d'], index=[1, 2, 3]) 按列合并 df = pd.concat([df1, df2], axis=1) 结果按我预想的应该是三行，但是结果却是4
dataframe的merge操作
lyzkks的博客
04-10 5万+
merge操作的原则 dataframe的merge是按照两个dataframe共有的column进行连接，两个dataframe必须具有同名的column。 如果两个dataframe的column都不相同，则会在merge的时候报错： 而当两个dataframe具有相同的column时，若两个column中没有相同的value，则会merge一个空的dataframe： ...
Pandas使用merge对dataframe进行合并时出现全为Nan的问题
qq_53975980的博客
12-30 2524
Pandas使用merge对dataframe进行合并时出现全为Nan的问题
用实战玩转Pandas数据分析_数据开发_YU_
10-02
- `merge()` 函数用于合并DataFrame，支持内连接、外连接、左连接和右连接。 - `concat()` 沿指定轴（行或列）拼接多个DataFrame。 7. **时间序列分析**： - Pandas支持日期和时间数据，可以方便地处理时间序列...
python数据清洗Pandas指导手册
01-28
2. 数据整理：通过merge()和join()合并多个DataFrame，concat()用于堆叠或拼接数据。 3. 数据重塑：pivot()、unstack()、stack()用于转换数据的维度，melt()用于“宽”格式到“长”格式的转换。 4. 时间序列处理：...
Pandas数据分析笔记
01-23
使用`pivot_table()`函数可以创建数据透视表，对数据进行多维度的汇总和分析。 9. **数据可视化** Pandas内置了简单的数据可视化功能，结合Matplotlib库可以生成各种图表，如折线图、柱状图、散点图等。 10. **...
Pandas_exercises-master.rar
05-22
6. 数据合并与连接：concat、merge函数分别用于垂直和水平拼接DataFrame，join方法则可以基于索引进行合并。 7. 聚合操作：groupby允许我们根据某一列或多列进行分组，然后对每个组进行统计计算，如求和、平均值等...
Pandas权威指南： Powerful Python Data Analysis Toolkit.pdf
02-19
- `concat`函数将多个DataFrame拼接成一个新的DataFrame。 - 数据连接时的键匹配和缺失值处理。 7. **数据可视化** - Pandas与Matplotlib、Seaborn等库结合，方便地生成统计图表。 - 基于DataFrame的内置绘图...
pandas.DataFrame.merge() on列 存在重复值
qq_47782884的博客
06-15 786
使用pa.merge()函数合并两个表，on= 参数指定连接主键时，主键内存在重复值。会出现什么情况。
DataFrame 数据合并，连接（merge,join,concat)
Han_kin的专栏
08-25 8422
作者：lianghc 连接：http://blog.csdn.net/zutsoft/article/details/51498026 merge  通过键拼接列 pandas提供了一个类似于关系数据库的连接(join)操作的方法<Strong>merage</Strong>,可以根据一个或多个键将不同DataFrame中的行连接起来 语法如下[python] view plain copy pri
谈谈pandas merge 的一个深坑，莫名其妙多出来一行
Reach Higher
01-31 1万+
merge 在 pandas 里面的基本用法 pd.merge([df1, df2], on=’ ‘, how=’ left/right/inner’) df1.merge(df2, on=’ ‘, how=’ ') 如果你要拼接的两个dataframe中，有一个相同的关键字段，且两个列名是相同的，就可以指定 on=‘column name’ 接下来看例子 df1 = pd.DataFrame...
python 数据框合并之后行变多了_Python：熊猫合并了多个数据框
weixin_39565777的博客
01-13 385
I have diferent dataframes and need to merge them together based on the date column. If I only had two dataframes, I could use df1.merge(df2, on='date'), to do it with three dataframes, I use df1.merg...
Pandas：merge函数使用注意事项（pandas的merge函数造成大量错误的空值）
u011476718的博客
03-12 2万+
pandas的merge函数造成大量错误的空值
PANDAS 数据合并与重塑（concat篇）
热门推荐
stevenkwong的博客
09-13 31万+
pandas作者Wes McKinney 在【PYTHON FOR DATA ANALYSIS】中对pandas的方方面面都有了一个权威简明的入门级的介绍，但在实际使用过程中，我发现书中的内容还只是冰山一角。今天就pandas官网中关于数据合并和重述的章节做个人性质的总结。 文中代码块主要有pandas官网教程提供。
pandas中Series，DataFrame的连接（拼接）
Great haste makes great waste
05-13 12万+
这个repo 用来记录一些python技巧、书籍、学习链接等，欢迎star github地址 上一篇中介绍了numpy中数组的拼接方式：numpy中数组的拼接 ，接下来介绍另一个数据处理库pandas中最常用的Series和DataFrame对序列和表格的操作 concat 如numpy中数组的拼接 中所讲是numpy中concatenate的变种，两个使用方法一致。 ...
DataFrame数据拼接合并的几种方式
骄马之死的博客
03-31 5万+
pd.merge() merge 是融合的意思 实例： a=pd.DataFrame({'a':[1,2,3],'b':[2,3,4]}) b=pd.DataFrame({'a':[11,22,33],'c':[22,33,44]}) c=pd.merge(a,b) c Empty DataFrame Columns: [a, b, c] Index: [] 通过验证发现，a和b的同名列表...
DataFrame.merge
最新发布
08-09
DataFrame.merge 是 pandas 库中用于合并两个 DataFrame 的函数。它根据指定的列或索引进行连接，并返回一个新的 DataFrame。合并可以根据一对一、多对一或多对多的关系进行。 使用 DataFrame.merge 可以通过以下方式合并两个 DataFrame： - 内连接（inner join）: 只保留两个 DataFrame 中共有的行。 - 左连接（left join）: 保留左侧 DataFrame 中的所有行，并将右侧 DataFrame 中匹配的行合并。 - 右连接（right join）: 保留右侧 DataFrame 中的所有行，并将左侧 DataFrame 中匹配的行合并。 - 外连接（outer join）: 保留两个 DataFrame 中的所有行，并将匹配的行合并。 DataFrame.merge 函数有多个参数，其中最重要的是 `on` 参数，用于指定根据哪些列进行合并。还可以使用 `how` 参数来指定合并方式，默认为内连接。 以下是一个示例： ```python import pandas as pd df1 = pd.DataFrame({'A': [1, 2, 3], 'B': ['a', 'b', 'c']}) df2 = pd.DataFrame({'A': [3, 4, 5], 'C': ['x', 'y', 'z']}) merged_df = df1.merge(df2, on='A', how='inner') print(merged_df) ``` 输出结果为： ``` A B C 0 3 c x ``` 在此示例中，我们根据列 'A' 进行内连接，合并了两个 DataFrame，并只保留了匹配的行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值