excel处理几十万行数据_神奇吗?仅需4步,轻松在Excel处理300万行数据

原标题:神奇吗?仅需4步,轻松在Excel处理300万行数据

这场软件PK,是时候分出胜负了,今天就是大结局。有必杀技在手,Excel已经看到了胜利的曙光。

在99%的人眼中,Excel能处理的最大数据是100万行,假如现在是300万行,估计都束手无策,只能寄希望于数据库。不学习真的限制了你的想象力,300万行数据Excel也能轻松统计。

300万行一个表肯定是存放不下,可以存放在多个工作表、多个工作簿甚至是数据库,不管何种储存形式,Excel都可以处理。今天,卢子就以存放在多个工作表为例进行说明。

源文件:

https://pan.baidu.com/s/1dwYqcMxblg2o_4B23IxusQ

在Excel存放着3个工作表,每个工作表100万行数据,合计300万,现在要统计每个姓名的总金额。

Step 01点数据→新建查询→从文件→从工作簿,浏览到指定的工作簿,导入,在导航器再选择工作簿的名称(相当于选中所有工作表),点编辑。

Step 02选择Data这一列,右键选择删除其他列,再点扩展按钮,确定。展开后就看到所有数据,将第一行用作标题。

Step 03点关闭并上载至,选择仅创建连接,勾选将此数据添加到数据模型。划重点,这一步是最重要的,不能有半点差错。数据模型就相当于一个大型的数据库,甚至可以容纳几千万行数据,正因为如此,才能让Excel突破百万行数据。

Step 04直接创建透视表,默认情况下透视表的数据源就是数据模型中的数据,再勾选姓名和金额就完成统计。

神奇吗?有没一种想亲自体验一把的想法?

好了,办公软件之王最终还是归Excel。毕竟Excel是亲儿子,十年相伴,WPS不过是半路捡来的,从私心上,卢子当然是希望Excel能赢。

征文:

为了让更多有能力的读者参与到Excel不加班这个公众号来,卢子从今天开始搞一个征文活动。写Excel在会计行业的运用,参考平常微信文章的写法,写完发送到邮箱872245780@qq.com,必须是原创作品,一经采纳可以获得跟卢子学Excel不加班套装签名书(2本)或者268元综合班级,二选一。

温馨提示:这几天京东书籍满199减100,当当满100减50,买书请别错过。推荐购买书籍↓↓↓

今年,你加工资了吗?

作者:卢子,清华畅销书作者,《Excel效率手册 早做完,不加班》系列丛书创始人,个人公众号:Excel不加班(ID:Excelbujiaban)返回搜狐,查看更多

责任编辑:

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
可以使用 Pandas 的 `read_csv` 和 `to_csv` 方法读写 CSV 文件,以及 `chunksize` 参数实现将数据分块。同时,可以结合 `groupby` 方法和遍历操作,将数据分组后,每50万行输出为一个新的 CSV 文件。示例代码如下: ```python import pandas as pd # 读取 CSV 文件中的数据 df = pd.read_csv('data.csv') # 将数据分块 chunks = pd.read_csv('data.csv', chunksize=500000) # 按照列名进分组 groups = df.groupby(df.columns.tolist(), sort=False) # 遍历每个数据块,将分组后的数据写入到 CSV 文件中 for i, chunk in enumerate(chunks): # 将数据块与分组后的数据合并 group_chunk = chunk.groupby(chunk.columns.tolist(), sort=False) groups = groups.apply(lambda x: x.append(group_chunk.get_group(x.name), ignore_index=True)) # 如果当前数据块的数超过 50 万行,将分组后的数据写入到 CSV 文件中,并开始下一组 if i % 10 == 0 and i > 0: groups.to_csv('output_{}.csv'.format(i // 10), index=False) groups = df.groupby(df.columns.tolist(), sort=False) # 将剩余的数据写入到 CSV 文件中 if len(groups) > 0: groups.to_csv('output_{}.csv'.format((i // 10) + 1), index=False) ``` 这段代码将 CSV 文件 `data.csv` 中的数据读入到 Pandas 的 DataFrame 中,然后将数据分块,每块最多包含 50 万行数据。接着,按照列名进分组,并遍历每个数据块,将分组后的数据写入到一个新的 CSV 文件中。如果当前数据块的数超过 50 万行,则将分组后的数据写入到 CSV 文件中,并开始下一组。最后,将剩余的数据写入到 CSV 文件中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值