导入时读不到数据_20亿大数据怎么在30分钟内导入到execl中

所有人问所有人：

20亿大数据怎么在30分钟内导入到execl中 , 每个execl存储10万条数据 , 最后输出压缩包给用户?

吃瓜群众

曾振宇

？？？

余园 

非常有逼格

黄河

不知道

戴琴   

这要怎么弄呀

    刘瑞

woc！牛逼啊！  (^ = ^)我不会

徐长乐 

20亿？找个会Python和vba的吧

理论大师

  黄强

使用POI导入

匿名a   

这种问题建议去Excel论坛求助，Excel大佬贼多

    陈甫

不限时间能做

20亿数据你多复制粘贴几次就行了，手速够快30分钟够了

匿名b 

20亿数据导入之前的存储形式是什么？线上还是线下？原始数据是存储在后台表还是excel？导入的方式都有哪些？导入20000个excel表的规则是什么？是否需要分类？
条件太少，无法作答。。
当然，对输出的数据没有任何要求，仅仅是为了把数据放到excel里，且硬件、人力资源足够的情况下，多开几台机子然后重复Ctrlc加v操作就可以了

知乎求助

向Excel导入大数据，有两种方式：

1、 PowerPivot导入，直接导入，不支持数据转换和清洗操作。

2、 PowerQuery导入，在导入前可以对数据做预处理。

为了直接对比PowerQuery和PowerPivot的加载效率，增加了一个号方式，这种方式不对数据做任何清洗转换，直接加载到模型，与PowerPivot步骤相同。

现象

对比前两行结果，PowerQuery的数据导入效率与PowerPivot不分伯仲。

PowerQuery没有数据量的限制，而PowerPivot不到导入超过2G的文件。

清洗步骤和数据量的增多，都会显著增加PowerQuery的导入时间，比如一亿行数据，即使三个简单的清洗步骤，用时已经超过了30分钟

结论

PowerPivot导入方式使用的是Access连接器，受限于Access文件本身的限制，不能导入超过2G的数据，这也说明，PowerPivot数据存储能力超过了Access。

PowerQuery是轻型ETL工具，处理大数据集性能不强(基于Excel版本的 PQ)。
如果尝试使用Buffer函数缓存数据，会发现这个缓存过程非常漫长，实际上，Buffer函数并不适合缓存大数据集，因为无法压缩数据，内存可能会很快爆掉。

本文转载自：PowerBI极客(高飞)

-END-

这是「所有人问所有人」的第 22 期，鸣谢：

回答丨各位回答的小可爱们

编辑丨李俊杰

审核丨马丽蓉

是时候展现你们 Excel 神技的时候了~