excel处理几十万行数据_神奇吗?仅需4步,轻松在Excel处理300万行数据

原标题:神奇吗?仅需4步,轻松在Excel处理300万行数据

这场软件PK,是时候分出胜负了,今天就是大结局。有必杀技在手,Excel已经看到了胜利的曙光。

在99%的人眼中,Excel能处理的最大数据是100万行,假如现在是300万行,估计都束手无策,只能寄希望于数据库。不学习真的限制了你的想象力,300万行数据Excel也能轻松统计。

300万行一个表肯定是存放不下,可以存放在多个工作表、多个工作簿甚至是数据库,不管何种储存形式,Excel都可以处理。今天,卢子就以存放在多个工作表为例进行说明。

源文件:

https://pan.baidu.com/s/1dwYqcMxblg2o_4B23IxusQ

在Excel存放着3个工作表,每个工作表100万行数据,合计300万,现在要统计每个姓名的总金额。

Step 01点数据→新建查询→从文件→从工作簿,浏览到指定的工作簿,导入,在导航器再选择工作簿的名称(相当于选中所有工作表),点编辑。

Step 02选择Data这一列,右键选择删除其他列,再点扩展按钮,确定。展开后就看到所有数据,将第一行用作标题。

Step 03点关闭并上载至,选择仅创建连接,勾选将此数据添加到数据模型。划重点,这一步是最重要的,不能有半点差错。数据模型就相当于一个大型的数据库,甚至可以容纳几千万行数据,正因为如此,才能让Excel突破百万行数据。

Step 04直接创建透视表,默认情况下透视表的数据源就是数据模型中的数据,再勾选姓名和金额就完成统计。

神奇吗?有没一种想亲自体验一把的想法?

好了,办公软件之王最终还是归Excel。毕竟Excel是亲儿子,十年相伴,WPS不过是半路捡来的,从私心上,卢子当然是希望Excel能赢。

征文:

为了让更多有能力的读者参与到Excel不加班这个公众号来,卢子从今天开始搞一个征文活动。写Excel在会计行业的运用,参考平常微信文章的写法,写完发送到邮箱872245780@qq.com,必须是原创作品,一经采纳可以获得跟卢子学Excel不加班套装签名书(2本)或者268元综合班级,二选一。

温馨提示:这几天京东书籍满199减100,当当满100减50,买书请别错过。推荐购买书籍↓↓↓

今年,你加工资了吗?

作者:卢子,清华畅销书作者,《Excel效率手册 早做完,不加班》系列丛书创始人,个人公众号:Excel不加班(ID:Excelbujiaban)返回搜狐,查看更多

责任编辑:

### 高效删除Pandas DataFrame中的大量 为了高效处理CSV文件并从中删除大量的,可以利用`pandas`库的强大功能来操作数据。具体来说,可以通过加载整个CSV文件到DataFrame中,然后应用布尔索引来筛选不要的数据。 #### 使用布尔索引过滤数据 通过创建一个条件表达式来指定哪些应该被保留下来,从而间接实现了删除的效果: ```python import pandas as pd # 加载原始CSV文件至DataFrame df = pd.read_csv('large_file.csv') # 假设要移除所有国家为中国且年龄小于20岁的记录 filtered_df = df[(df['country'] != 'China') | (df['age'] >= 20)] # 将修改后的DataFrame保存回新的CSV文件 filtered_df.to_csv('filtered_large_file.csv', index=False) ``` 这种方法不简单而且效率较高,因为它是基于向量化运算完成的操作,在内存允许的情况下能够快速执大规模数据集上的逻辑判断[^1]。 对于非常庞大的CSV文件,如果一次性读取全部内容可能会遇到内存不足的问题,则建议采用分块读取的方式逐步处理数据: #### 分块读取与写入 当面对超大尺寸的CSV文件时,可以设置参数`chunksize`以控制每次只读取固定数量的数,并逐片地进变换后再追加写出最终结果: ```python chunks = [] for chunk in pd.read_csv('very_large_file.csv', chunksize=10 ** 6): filtered_chunk = chunk[(chunk['country'] != 'China') | (chunk['age'] >= 20)] chunks.append(filtered_chunk) final_df = pd.concat(chunks) final_df.to_csv('processed_very_large_file.csv', index=False) ``` 这种方式可以在有限资源条件下有效地管理大型数据集,同时保持良好的性能表现[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值