用pandas里的groupby函数实现把一个大文件按某一列的类型分成多个文件

最新推荐文章于 2024-07-10 16:11:12 发布
最新推荐文章于 2024-07-10 16:11:12 发布
阅读量7.2k 收藏 31
点赞数 7
分类专栏： 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/destiny_python/article/details/78673937
版权
本文通过实例演示如何利用pandas的groupby函数，根据数据文件中某一列的不同值，将大文件拆分为多个小文件，每个文件以其主键内容命名。内容包括对拆分过程的描述及代码展示。
摘要由CSDN通过智能技术生成

上图说话，浅显易懂

大文件：

可以发现上图“单元这一行”有三个不同的值，我想以这一列为主键，分成三个文件，文件名以主键内容命名，输出如下图：

对于GO7-33-286.csv、GO7-35-226.csv、GO7-37-166.csv这三个文件内容，分别如下：

最低0.47元/天 解锁文章
destiny_python
关注
专栏目录
Pandas分组函数groupby、聚合函数agg和转换函数transform
小龙在线
10-28 515
by: 指定根据哪个/哪些字段分组，默认值是None，按多个字段分组时传入列表。by参数可以按位置参数的方式传入。axis: 设置按列分组还是按行分组，0或index表示按列分组，1或columns表示按行分组，默认值为0。level: 当DataFrame的索引为多重索引时，level参数指定用于分组的索引，可以传入多重索引中索引的下标（0,1…）或索引名，多个用列表传入。
pandas.DataFrame.groupby 按某列类型值将文件分为多个文件
无穷酱的博客
04-08 1631
1.groupby() pandas.DataFrame.groupby() groupby函数使用映射器或一系列列对数据帧进行分组。 groupby操作涉及拆分对象、应用函数和组合结果的某种组合。这可以用于对大量数据进行分组，并对这些分组进行计算操作。 2.栗子 groups = data.groupby(data['color']) #按“color”列的值分为多个文件 #比如color列有“red, yellow, green”三个不同类型的值，则会分为red.csv; yellow..
使用Python中pandas按照某一列把一个Excel文件拆分为多个Excel文件
ccplus的博客
08-28 1万+
使用Python中的pands包，按照指定条件，某一列，把一个Excel文件拆分为多个Excel数据文件
group by 分组函数详解
最新发布
qq_43723636的博客
07-10 1584
如何分组数据，以便能汇总表内容的子集。这涉及两个新SELECT语句子句，分别是GROUP BY子句和HAVING子句。
Python使用pandas对Exccel按某列分割成多个文件
大海的博客
09-17 2289
首先需要安装第三方库： pip3 install pandas pip3 install xlrd pip3 install openpyxl 后面这两个不晓得是啥，反正是在运行中报错提示，然后安装的。 目标文件在E盘下面：data1.xlsx，文件内容： import pandas as pd io = "e:/data1.xlsx" #目标文件 data = ...
python dataframe取多列,在Pandas DataFrame中将文本(带有名称和值)列拆分为多列
weixin_29264201的博客
03-01 665
I have problem with speed of my algorithm, is too slow. I have a big dataframe and wanna create columns depends on the name and value in other. I am looking for a solution maybe in Pandas. Before runn...
Part14:Pandas批量拆分与合并Excel文件
qq_46044325的博客
09-16 1877
1.使用df.iloc方法，将一个人的dataframe，拆分成多个小dataframe。2.将使用dataframe.to_excel保存每个小Excel。2.分别读取到dataframe，给每个df添加—列用于标记来源。2.将多个小Excel合并成一个大Excel并标记来源。4.将合并后的dataframe输出到excel。1.遍历文件夹，得到要合并的Excel文件列表。1.将一个大Excel等份拆成多个Excel。3.使用pd.concat进行df批量合并。
pandas的groupby函数
07-27
例如，可以使用groupby函数按照某一列的值将数据分成多个组，并对每个组进行求和、计数、平均值等操作。可以通过传递一个函数或一个列名来指定分组的条件。\[2\] groupby函数返回的是一个DataFrameGroupBy对象，...
pandas groupby函数功能
07-20
pandas的groupby函数是用于对数据进行分组操作的功能。它可以根据指定的列或条件将数据分成多个组，并对每个组进行聚合、转换、过滤等操作。 groupby函数的常用功能包括： 1. 分组 - 根据单个列或多个列进行分组...
pandas的groupby重点
FlizhN的博客
06-23 838
pandas的groupby是一个极其重要的函数，熟悉掌握能解决非常多的问题 #groupby的基本语法参数 DataFrame.groupby(self, by=None, axis=0, level=None, as_index: bool = True, sort: bool = True, group_keys: bool = True, squeeze: bool = False, observed: bool = False) 这是一个非常好的解释groupby的图，原理是先把数据切..
在pandas dataframe中groupby之后将多个列合并转换为dict
qdulgh的专栏
06-15 808
【代码】在pandas dataframe中groupby之后将多个列合并转换为dict。
Python数据分析中对DataFrame的数据分组处理groupby
liujingwei8610的专栏
03-19 1万+
【小白从小学Python、C、Java】 【Python全国计算机等级考试】 【Python数据分析考试必会题】 ● 标题与摘要 Python数据分析中对DataFrame的 数据分组处理groupby ● 选择题 以下关于数据分组处理的说法错误的是： A 可以通过groupby函数实现分组处理 B groupby函数返回值为一个对象 C groupby函数会改变原数据 D 可以对groupby处理得到的对象进行组内求和计算 ​ ​● 问题解析 1.数据分析中常常需要按照
利用python进行数据分析——groupby分组
weixin_42418170的博客
10-26 5118
groupby分组运算的三个阶段：split--apply--combine（拆分-应用-合并） 本篇主要讲split阶段，groupby分组，即我们可以通过哪些方式对DataFrame进行分组 分组键概览： DataFrame中的列 自定义数组 字典或者Series 通过函数进行分组 根据索引级别分组 一、通过DataFrame中的列进行分组 Note：1. df['列名'].groupby(df['列名']) ---前者表示待划分的数据，后者表示划...
使用pandas.dataframe.toexcel, groupby, ExcelWriter拆分Excel总表到分表, 按某列的值分类到分表的Python方法
BenLyons的博客
07-27 748
首先,我们先读取总表,其中dtype可以指定某列读取的格式. 读取2020-07-27的格式日期时,输出到Excel文件日期会变为2020-07-27 00:00:00格式 我们可以使用date_parse参数指定处理函数,如果格式复杂且有错误,这是一个好办法. 也可以使用datetime中的strftime和strptime来处理, 上诉两种办法都需要指定一个函数,也可以使用lambda 我这里不想处理日期格式,选择用字符串类型来读取.想要了解的可以参考别的文章,或者我可能勤奋以后会写(大...
【Python学习笔记】40：Pandas中DataFrame的分组/分割/合并
热门推荐
LauZyHou的笔记
11-14 3万+
学习《Python3爬虫、数据清洗与可视化实战》时自己的一些实践。 DataFrame分组操作 注意分组后得到的就是Series对象了，而不再是DataFrame对象。 import pandas as pd # 还是读取这份文件 df = pd.read_csv("E:/Data/practice/taobao_data.csv", delimiter=',', encoding='utf-...
pandas: dataframe按某一列的值分成多个小的dataframe
qq_40981268的博客
01-08 2万+
目标： 根据dataframe中某一列中不同的值，按照值来划分为 多个小的dataframe 步骤：        1. 将dataframe中某一列中不同的值，以列表的形式返回；       代码： listType = data['type'].unique()   ——返回list,里面存放的内容即为各个元素       eg:                fcdV2_T_ID_1...
Pandas 练习：分组和排序
Li_qf的博客
12-06 3012
在数据处理时可能需要我们进行分组处理，Python的数据科学库Pandas提供了类似SQL的groupby来对数据进行分组处理，同时Pandas库还允许我们对每个分组进行排序等一系列处理。 数据集下载： winemag-data-130k-v2.csv.zip 0、读取数据 import pandas as pd reviews = pd.read_csv('./winemag-data...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值