借助Smartbi智分析云端平台，秒处理百万行数据

最新推荐文章于 2024-10-28 15:54:24 发布

思迈特Smartbi

最新推荐文章于 2024-10-28 15:54:24 发布

阅读量280

点赞数

文章标签： excel

本文链接：https://blog.csdn.net/Moogical/article/details/114840934

版权

EXCEL处理大数据的能力一向是饱受诟病，就拿几十万行的数据来说吧，如果要在EXCEL里打开这么大的文件，少说都要几分钟，万一中间出现了卡死，又要重新来一遍，会把人折磨的不要不要的。所以为了可以处理更大的数据量，多数人会舍弃EXCEL而转投到数据库的阵营里，但是要懂得数据库也并非是一件易事，首先各种数据库的名字已经足够让人迷糊了，什么oracle、mysql、obase这些，加上还要懂得数据存储，还要会写sql语句，这些头疼的事情不禁会让没有数据库基础的人抓狂：天哪，放过我吧！我们只是会用EXCEL而已，这些技术名词也太深奥了，能不能有些更加简单的方法啊？

其实要解决EXCEL处理大容量数据困难的问题，不一定要借助Access、SQL Server、MYSQL等大型数据库，我们可以利用云端服务器对大容量的数据进行相应的处理，再把得出的结果提取到EXCEL里进行分析，以Smartbi智分析云平台为例，把超过百万行的数据量导进到云服务平台里，并与EXCEL进行相连，在云端对数据进行透视后，再把分析结果呈现到EXCEL里进行图表制作，整个过程也就几十秒的时间，就轻松把百万行的数据给攻破了，这是由于云端平台有着高速处理数据的能力，所以信息处理都是利用大型网络服务器进行加工和存储的，这些强大的处理能力是EXCEL无法比拟的。下面我们通过这个思路教大家认识一下EXCEL是如何通过云服务平台对百万行级的数据量进行分析处理。

第一步：安装插件

首先要下载一个Smartbi智分析的excel插件，安装在EXCEL里，过程非常简单，安装完成之后，EXCEL的界面里会出现一个新的工具栏。

第二步：导入数据

登录Smartbi云端平台后，可以看到导航栏里会有数据连接的选项，点击进去后会看到EXCEL和CSV文件的导入路径，这里我尝试用一份EXCEL表格导进去看下速度有多快，于是我找了一份约130兆容量和数据量接近100万行的某汽车公司销售数据进行测试，选择好存放的路径后便开始进行导数，过程非常顺利，不到一分钟的时间便完成了导数的过程，这个速度比SQL Server导入EXCEL数据的时间快多了。

第三步：云端透视

把100万行的数据源导进去后，便可以在云端平台上进行简单的透视分析，这个步骤非常智能，和EXCEL表的透视表的功能是差不多的，只要拉拽需要分析的字段出来，便可以对数据源进行透视，处理时间基本是零延迟，而且还可以新建度量值，通过时间维建立同比、环比等指标。比如这里我想看车系在行业里的销售额情况，我选了3个字段，分别是line（车系）、cust_industry(行业)、amount（销售额），把字段拉拽到下面的筛选区里，便快速得出下图的分析结果。

第四步：EXCEL分析

如果需要把上图的透视图放到EXCEL里去分析和制作图表，也是没问题的，只要把上面的透视分析保存在云平台上，再回到EXCEL里打开数据集面板，找到刚刚保存好的透视分析，把相关的字段拉拽到EXCEL里，一样也可以建立新建透视表和制作你想要的图表，而且速度非常快，基本是零延迟。

如果需要追加数据，可以在数据导入的界面里选择添加到已有表把新的数据源追加进去，导入数据后，只需在EXCEL里点击刷新，所有的报表即可进行自动更新。

经过上面的简单操作步骤，在非常短的时间便可以完成100万行数据量的分析，我们再来对比一下EXCEL独立处理该份数据的速度，我在电脑里直接打开了这份庞大的数据，并用了计时器进行计时，经过漫长的等待后，我们看下最后的用时：2分46秒，真是相当长的时间。。。这里特别说明一下，我的电脑是I7+500G固态硬盘，如果是低于这个配置的电脑，可能用时会更长。