安利一个免费的ETL神器

04

2024-01

安利一个ETL神器

然而悲伤的是世上没有后悔药，走了那么多弯路，掉了那么多头发才知道这个东西真的是好气啊！

LEARN MORE

图片由海艺AI绘制

安利一个创业公司神器

经常会有朋友问我为什么对市面上的各种软件都略知一二。其实这是一个略微悲伤的故事，因为作为一个经历了很多次从零到一搭建数据体系的数据分析师，我的数据工作经常是从软件选型开始做起的。

最近在各种搜罗效率办公神器的时候，被朋友们安利了一个很不错的软件——下秒数据Nexadata。

老实说，看到这个软件的时候，我的心情是复杂的——如果当年在XX做XX的时候，我看到了这个软件，至！于！在！坑！里！折！腾！得！死！去！活！来！么！

虽然看到好东西的时候，我非常很想直接卖安利，好用，大家快去用。但是在此之前，还是让我讲一段故事吧。

之前在创业公司的时候，我一直非常纠结数仓的问题。主要的纠结来自于三个点，首先，我并不是技术出身的数据分析师，对于数仓只能说大体情况了解，但是技术细节不了解，如果要做，必须要招到一个对数仓非常了解的人来牵头技术；其次，对一家创业公司而言，建数仓的成本实在是太高了，高到公司的业务体量还不足以养活一个数仓的团队；再次，初创公司的业务和系统都在快速迭代变化中， 我设计数仓模型的速度完全跟不上业务变化的速度。

几番权衡之下，还是忍痛放弃了数仓，转而选择了其他替代方案。这倒不是因为我对公司对老板有多么大的责任心，只是很单纯的因为，我过往经常操盘降本增效的项目。我再清楚不过了，一旦公司的业务经营出现任何的波动或者风险，数仓这种成本巨大还见不到明显水花的团队就是第一个要裁掉的。

抛弃数仓选用BI工具自带的ETL工具直接架构在业务系统备库上虽然是一个成本极低且高度灵活的选择，但是这种方案也给数据团队带来了另一种风险：没有数仓中间层的隔离，我们随时都在被迫跟着系统逻辑的变动做变动，时不时就得为开发的bug背大锅——老板才不管报表报错了是为啥，到底是开发不规范还是什么原因，反正报表有问题就是你数据团队的问题。

除此之外，还有一个非常头疼的问题，那就是统计报表有延迟。虽然从统计分析指导业务的层面上来讲，1天的数据延迟其实不是什么问题，但是对于业务部门的人员来说，数据有延迟很多时候会让业务人员感到非常暴躁——广告的钱砸出去了，快告诉我到底带来几个成交，我不知道这个数据我寝食难安。而这种暴躁和不安全感，又引发了一个新的问题，业务人员开始不断提各种写SQL临时取数的小需求。于是数分狗就被迫陷入一个死循环，因为业务看不到数据开始暴躁，就开始提各种离谱的需求，数据人员陷入离谱需求的拉扯中，更加没有时间去优化数据体系。时间久了，团队的小伙伴都会陷入“数据分析是没有前途”的死局中。

当我看到Nexadata有种眼前一亮的感觉，主要就是因为Nexadata解决了这些曾经困扰我的问题。

虽然表面上看起来创业公司的数据还挺简单的，体量不大，基本没啥技术难度，不管用什么技术都是可以为所欲为的程度。然而真的做起来，就会发现，初创公司的数据业务真实的挑战来自于统计逻辑高速迭代的同时，要保证数据统计分析以较低的成本实现。典型的既要又要还要，又想马儿跑得快，又想马儿不吃草。

Nexadata解决问题的思路和我之前做得方案在某种程度上有一点类似，都是把BI和数仓融合了。但不一样的地方在于，Nexadata采用的是ELT+A的方式，而不是ETL。

之前曾经科普过，ETL这个词的本意不是什么软件工具也不是什么岗位名称，本意是描述的数据处理的过程：E抽取>T转换>L加载。ELT也是类似，只不过变换了数据处理的步骤：E抽取>L加载>T转换。这种处理顺序的转变，直接解决了暴躁业务SQL取数死循环的问题——我可以以极低的代价实现实时统计了。

除此之外，还有一个让我感到很惊喜的地方是，Nexadata还提供了将数据写回到业务系统的功能。

虽然看起来，把数仓的数据反写回业务系统是一个看起来比较离谱的操作。然而有几种场景确是真的有必要这么操作的：

①业务系统和财务系统等都是saas的系统（小公司/创业公司大概率是这样的），多个系统之间的数据不互通，一些数据需要人工搬运excel表；

②出于某些特殊的业务原因（比如公司的规模过于庞大，集团公司，各个事业部有自己的系统）MDM主数据完全独立于业务系统；

③业务运作本身需要大量的计算，而业务系统实际不具备承载大规模计算的能力。

使用教程

安利的部分就这么多，接下来是大家都喜闻乐见的实操环节。

官网地址：https://nexadata.cn/

官网的这一张图最为形象地说明了这个产品的特点，通过低代码的方式实现从业务系统到BI看板的呈现。千万不要小看这个从业务系统开始，因为对绝大多数创业公司而言，选择SaaS系统就是最佳的选择没有之一。

然而选择了SaaS系统作为业务系统，对于创业公司的数据分析师而言常常是一种噩梦。首先，数据分析人员一般的coding能力都一般（毕竟coding不是数据分析吃饭的家伙），赶鸭子上架去搞定各种Saa系统的的数据接口确实有点为难人。

对于让人恼火的各种SaaS的系统，nexadata是直接内置了一些市面上非常常见的SaaS系统的对接功能。一定比自己费劲扒拉各种文档要快得多。

在官网的应用商店中有列出具体支持的工具：

因为实在的太多了，逐个截图也没什么意思，这里截图放几个支持的系统。

企业都绕不过的财务系统用友/金蝶、做电商100%逃不掉的旺店、广告投入绕不开的巨量引擎等，在nexadata中都是内置的，直接一键调用，主打一个省心又省力。

此外，软件有多个版本可供选择，部署上可以私有化部署，对于有数据安全实在放心不下的公司也不必过于担心数据安全的问题。

现成的系统对接，配合上秒级查询数据源。从对接系统到完成实时看板的搭建，一下子就从一个非常简单的工程变成了一件还挺简单挺容易实现的事情。有多么容易呢？这么说吧，我在没有参考任何的文档和手册的情况下，只凭借直觉，就能在五分钟内拉出一个小的demo出来。

企业版本和免费版相比之下主要是多了一些行业常用系统的对接。这里我们用免费版做一个使用演示教程。其实免费版使用唯一的门槛在于linux，除此之外，并没有什么难度。考虑到不少小伙伴对于linux的了解还是比较浅的，所以这里会给出一个比较详细的部署安装教程。

首先我们可以从这个地址看到官方给到的安装教程：https://nexadata.cn/ordinary

虽然官方给出的安装方式是通过docker进行部署，但是我电脑docker安装的时候频繁闪退（我不管，就是win11体验版的锅），所以采用了比较笨的办法进行使用——虚拟机。

虚拟机安装本身不是很难，但是耗时相对比较长。

安装好之后，就是根据教程输入命令安装应用了：右键 >Open Terminal > su >输入密码>输入官网复制来的安装命令：

接下来就是毫无技术含量地等安装读条了。相比之下，安装的过程稍微复杂一点。然后就可以根据安装的提示，在浏览器中进行访问了：

首次安装就会弹出登录注册的界面。这个没什么好讲的，各种软件都大差不差。界面总体设计的风格比较清爽，看起来比较舒适。

开始新建，有多种功能可供选择：

以新建一个数据流程为例，界面是这个样子，和之前的RPA系列介绍的RPA工具比较类似。

左侧是一个流程设计的页面，可以点加号进行流程的设计。右侧则是很多支持的工具和接口，免费版下支持得数据库已经算是比较齐全了。

企业微信、飞书这种打工人必备软件也有比价好的支持，直接省去调接口的麻烦。

最让我惊艳的一点是，甚至可以支持云盘！这岂不是意味着，业务部门的各种乱七八糟的手工数据，直接传网盘就完事？！

以选择MySQL为例，选择操作，配置账号，配置参数即可，一气呵成。

因为我没有现成的数据可以配置，这里就不做逐步的演示了，非常简单。配置好数据库之后，我们就可以选择一些数据处理的操作，对数据做一些加工处理：

除了这些中规中矩的处理操作以外，还有一些分析处理的操作：

完成数据处理之后，就可以输出数据啦：

接下来就是编辑一下看板的页面，基本也是拖拉拽式的生成看板。看板的操作比较类似飞书项目中新建图表的操作。

支持的图表类型也算比较丰富，基本常用的图表都是有的：

没有现成的数据，我也懒得造数据了，我直接用内置的数据模板展示一下完整的数据处理过程：

然后保存这个数据处理的流程。这样就能在首页看到刚刚保存的东西了：

并且可以在这里对刷新等信息做一系列的设置：

也可以查看流程的运行日志、设置权限等。

打开看板，效果是这样的：

虽然看板的视觉效果算不上惊艳，但是总体的操作体验堪称惊艳。怎么说呢，操作简单到学习成本几乎为零。这个页面我是在没有查看任何文档和教程的情况下，花了五分钟时间做出来的。所以不要问我这个软件值不值得学了，因为根本不需要学！！！

如果嫌完整安装太麻烦了，只是单纯想想试用产品，可以点击文章末尾的阅读原文进行申请。