Excel如何打开百万行及以上的csv，再快速整理、提取出想要的数据？

##Excel如何打开百万行及以上的csv，再快速整理、提取出想要的数据？

大数据时代，百万行及以上数据如何处理？–PowerQuery（PQ）是不错的选择。

通常来讲，百万行数据我们只需要用到其中的一部分，或者只是作统计

excel支持100万行数据，但是用excel打开较大的数据很慢（30M及以上）、超100万行的部分会被截掉、即使打开了操作经常会无响应（特别是带了公式，还没关掉自动计算）；或许只能把数据切割后，分次操作。总之，效率很低，无法忍受的低。

简单讲下我自己如何用PQ实现的：

1. 有个csv文件，643M，没法直接打开所以多少万行我也不清楚(╥_╥)
   
2. csv加载到PQ中
   新建一张空表，PQ导入这个大家伙。
   
   

点击编辑，进入编辑界面。

3. PQ中整理

比如，我想要看下CO_OBJECT_INSTANCE列有哪些数据，因为PQ无法加载所有数据，所以对这一列去重复项，那么就可以得到这列有哪些数据。

为了提高速度，右键CO_OBJECT_INSTANCE列，删除其他列；

删完了，这样：
立马我后悔了，突然想起另外还有几列要一起保留；PQ可以悔棋！


又回来了，这次好好选一下，选了3列，点删除其他列。


可以了，下一步。
右键CO_OBJECT_INSTANCE列，删除重复项。

4. 加载到表格
   关闭并上载，右边的数字在跳转圈，等跑完。
   
   删完重复项，得到16369行。
   
   随机抽了几个校验下（464079、279149），里面确实有我想要的数据，而且这一列都是唯一的。
   
   上面的例子，从643M的海量数据里面，提取了符合条件的16369行，总计花费3~4分钟。整体的效率可以说非常高！

基于这个数据，我可以再次用PQ查找、整理提取更多相关的数据。同时，可以发现PQ的操作界面和excel很相似，熟悉excel的朋友很快就能上手。

4. 总结
   PowerQuery处理数据的过程类似于SQL操作，关联数据源后并不会加载整个文件，而是截取前面一小节数据显示（200行），大文件加载速度也很快。

根据这一段显示的数据，我们可以在海量数据中设置各种条件查找、整理、统计，设置条件过程中会校验是否有错；调试通过后关闭上载，PQ就会遍历整个文件，把符合条件的数据摘出来输出到excel中，源数据不改动。当然，源数据中有改动，直接刷新整个查询结果也会更新，它是动态的。

例子里做的各种操作，其实都被翻译成了M语言。通过点选无法实现的操作，可以通过M语言来抽象编写实现进阶操作。


PQ支持的多种数据源，甚至可以连数据库。多表或多数据源直接可以合并查询（高级版vlookup），方便快捷。支持sql语句查询！

所以，整理大数据的时候，可以考虑使用下PowerQuery。

如果本文帮助有帮助到你，记得鼓励一下哦~(⊙ᗜ⊙)