pandas dataframe groupby rolling后报cannot handle a non-unique multi-index! 解决办法

已于 2023-09-01 16:20:47 修改
阅读量403 收藏
点赞数 1
分类专栏： 统计 数据挖掘 文章标签： pandas 机器学习 数据挖掘
于 2023-09-01 16:15:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mlzhu007/article/details/132626152
版权
文章讨论了在Python中使用pandasDataFrame时遇到的问题，即在处理多索引数据时，`rolling()`和`apply()`方法产生的MultiIndex结果无法直接赋值。解决方法是将应用结果转换为数值数组。作者指出AI在处理这类复杂数据结构时还需进一步优化。
摘要由CSDN通过智能技术生成

mf是一个dataframe，amt是成交额，code是代号，计算近5日的总成交额

下面的代码会报cannot handle a non-unique multi-index! 

chatgpt、文心一言、讯飞星火都解决不了

mf["amt_sum_5"] = mf.groupby(by="code")['amt'].rolling(5).apply(sum)

解决办法：

找一个小的dataframe跑一下这个逻辑，发现apply返回的结果是一个multiindex的dataframe，所以无法被赋值到amt_sum_5这个新列上。改成下面这个就好了：

mf["amt_sum_5"] = mf.groupby(by="code")['amt'].rolling(5).apply(sum).values

看来，AI还需要再改进~

sidney
关注
专栏目录
出现 The column label ‘ID‘ is not unique. For a multi-index, the label must be a tuple 解决方法
码农研究僧的博客
09-06 3768
问题分析可能就在第一张表附带一些索引，而且索引重置了也不行，清除也不可以。之后在对应进行拼接（此处只有一个表有问题，所以我只转换了一个表）将其对象复制到系统剪切板，之后可以将其黏贴到excel中。特意输出了如下两张表，但是拼接在一起，却出现问题。编译之后就出现如上问题。
使用LLaMA Factory微调时出现ValueError: Failed to convert pandas DataFrame to Arrow Table from file的解决方案
最新发布
weixin_43178406的博客
09-09 1万+
本文主要介绍了使用LLaMA Factory微调时出现ValueError: Failed to convert pandas DataFrame to Arrow Table from file的解决方案，希望能对使用LLaMA Factory的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
python pandas报错:Exception: cannot handle a non-unique multi-index!
ronaldo-liu的博客
05-23 5784
对pandas进行索引查询时报错Exception: cannot handle a non-unique multi-index!df_profit[df_profit['item_no'].str.contains(item + '.+')==True][m]原因：索引里没有这个值，会报这个错，检查pandas数据中的索引是否 有要找的项...
python pandas:Exception: cannot handle a non-unique multi-index!
cc95995的博客
03-19 4068
python pandas:Exception: cannot handle a non-unique multi-index! 在用Pandas处理数据的时候遇到了这个报错， 起因是在groupby一个数据A以后，要在groupby以后的数据A中计算一个新的列 后来发现是计算的新的列的索引，与数据A的索引不完全匹配，导致错误 让新的列的索引和数据A的索引完全匹配后，遂解决问题。 ...
ValueError: cannot reindex a non-unique index with a method or limit
武西亮的博客
04-01 3824
ValueError: cannot reindex a non-unique index with a method or limit是因为resample的2个date 相同   pandas 时间序列
MySQL索引合并Index Merge 一条SQL使用多个索引情况分析，以及索引合并失效情况
xzh_blog
04-23 3735
MySQL在5.0版本加入了索引合并优化（Index Merge），索引合并可以同时查询多个索引的范围扫描，并将其结果合并为一个。索引合并只可以合并来自单个表的索引扫描，而不支持跨多个表的扫描。合并可以生成其基础扫描的并集（unions）、交集（intersections）或交集的并集（unions-of-intersections）。
Pandas 中DataFrame的groupby()计数、groupby()取样及reset_index()的使用
热门推荐
愿你远行千里，归来仍是少年
11-21 2万+
什么是groupby 以下为对DataFrame对象按A进行分组操作，图片来源。 内容 目的 DataFrame对象按照指定列["LNG","LAT"]分组计数，并将分组计数结果(包括指定列及计数值)写入csv文件中 过程 代码一： import pandas as pd def weekFlow(): path="./group_test.csv" ...
pandas分组统计 - groupby功能 多列聚合分组 和 MultiIndex取值 DataFrame双重索引取值
0x8g1T9E-
03-02 4621
数据分组 分组统计 - groupby功能 ① 根据某些条件将数据拆分成组 ② 对每个组独立应用函数 ③ 将结果合并到一个数据结构中 Dataframe在行（axis=0）或列（axis=1）上进行分组，将一个函数应用到各个分组并产生一个新值，然后函数执行结果被合并到最终的结果对象中。 df.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False, **kwargs).
pandas DataFrame 空值和缺失值的处理；计算各特征的均值和方差；计算各自变量与目标变量的相关系数；计算各自变量(两两)之间的相关系数------未完！！！！！！
xiaozhu_you的博客
04-25 4279
import numpy as np import pandas as pd from copy import deepcopy pdf=pd.DataFrame([1,pd.NaT,3,"",np.nan],index=['int','NaT','int','null','nan'],columns=['列名']) print("type(pdf)-----------:"...
pandas dataframe数据聚合groupby、agg、privot基于sum统计详解及实例
data+scenario+science+insight
05-01 1970
pandas dataframe数据聚合groupby、agg、privot基于sum统计详解及实例 知道了sum、那么min、max、mean、median都是举一反三的事情了。 在日常的数据分析中，经常需要将数据根据某个（多个）字段划分为不同的群体（group）进行分析，如电商领域将全国的总销售额根据省份进行划分，分析各省销售额的变化情况，社交领域将用户根据画像（性别、年龄）进行细分，研究用户的使用情况和偏好等。 在Pandas中，上述的数据处理操作主要运用groupby完成。 聚合(aggre
The Inverted Multi-Index.pptx
10-09
A new data structure for efficient similarity search in very large datasets of high-dimensional vectors is introduced. This structure called the inverted multi-index generalizes the inverted index idea by replacing the standard quantization within inverted indices with product quantization. For very similar retrieval complexity and pre-processing time, inverted multi-indices achieve a much denser subdivision of the search space compared to inverted indices, while retaining their memory efficiency. Our experiments with large datasets of SIFT and GIST vectors demonstrate that because of the denser subdivision, inverted multi-indices are able to return much shorter candidate lists with higher recall. Augmented with a suitable reranking procedure, multi-indices were able to significantly improve the speed of approximate nearest neighbor search on the dataset of 1 billion SIFT vectors compared to the best previously published systems, while achieving better recall and incurring only few percent of memory overhead.
解决NonUniqueObjectException a different object with the same identifier value was already associate
zhen921的博客
10-07 839
前言 出现这个问题一定是数据库的问题了 报错英文different object with the same identifier value was already associated with the session 翻译是，具有相同标识符值的不同对象已与会话关联 当然这样说有点难以理解，简单来说就是在一个session回话里，你要操作的对象已经和session关联上了，如果你在操作...
mysql使用了index merge（索引合并）造成死锁分析总结
阿钟小哥的博客
07-07 4586
mysql数据库更新时造成死锁，经查看执行计划发现是使用到了index merge索引合并算法，那个这个索引合并是什么呢?为什么会用到索引合并呢？使用index merge为什么会造成死锁呢？怎么避免或解决死锁呢？接下来通过这篇文章带你一探究竟。
Python实现Non-unique Elements详解
谦190的博客
12-14 977
—————————————————————————————————————————————————— 今天这个编程很简单，但是发现了一个问题！ 来源：https://py.checkio.org —————————————————————————————————————————————————— 你将得到一个含有整数（X）的非空列表。在这个任务里，你应该返回在此列表中的非唯一元素的
Cannot merge new index 65544 into a non-jumbo instruction!
奋斗小威的专栏
11-19 2526
遭遇MultiDex 愉快地写着Android代码的总悟君往工程里引入了一个默默无闻的jar然后Run了一下， 经过漫长的等待AndroidStudio构建失败了。 于是总悟君带着疑惑查看错误信息。 UNEXPECTED TOP-LEVEL EXCEPTION: java.lang.IllegalArgumentException: method ID not in [0, 0xffff]:
Gensim-from corpus to vector实战
AI小白入门的博客
08-07 1948
介绍gensim能很方便的把文档转换成计算机能处理的形式，一般文档集合要先产生词典dictionary，词典就是包括文档集所有词的集合，每个词都在词典里有一个唯一的位置，就用位置来表示这个词。之后每一篇文档就能表示成（词id，词频）这种形式，用于后面的处理。实战from gensim import corporadocuments = ["Human machine interface for la
python pandas dataframe groupby，合并
07-28
回答: 在Python的pandas库中，可以使用groupby函数对DataFrame进行分组操作。在给定的例子中，可以使用groupby函数按照某一列（例如'class'）对DataFrame进行分组。然后，可以使用agg函数对每个分组进行聚合操作，例如计算平均值、求和等。最后，可以使用merge函数将多个分组后的DataFrame合并成一个新的DataFrame。在给定的代码中，使用了reduce函数和lambda表达式来实现多个DataFrame的合并操作。具体来说，reduce函数将lambda表达式应用于res列表中的每个DataFrame，通过指定共同的列名（'name'）进行左连接（how='left'），最终得到一个合并后的DataFrame。\[1\] #### 引用[.reference_title] - *1* [pandas-多个DataFrame同时进行merge合并](https://blog.csdn.net/Elvis__c/article/details/126411204)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值