教程：黑科技之云蛛系统大数据解决方案-数据采集/传输/处理/展现全套流程

黑科技的云蛛系统，一经问世，就博得了满堂喝彩。虽然主打的是数据可视化，但是很多用户用上之后都在问，你们是否会出大数据处理的产品，就像在很多用户眼里满满的黑科技-神策数据一样。如果你们出了，就可以解决我们整套数据流程的问题了。

大数据处理，云蛛系统肯定是要有的，但是具体开发的日期，并没有最终确定。但是鉴于用户的强烈需求，蛛网时代终于将大数据处理工具的开发提上日程，并为之命名为DataCenter。为何命名为DataCenter呢，言外之意就是，您的数据中心所有处理，云蛛系统可以为您全部解决。

DataCenter+AutoBI+DataView，您的整套数据分析系统就可以完整地搭建起来了，而且异常的简单。DataCenter给您做数据采集、传输、处理的工作，而AutoBI会做您的数据报表的工作，DataView做您的大屏展现工作，是不是配合的很nice？

DataCenter 用自己agent采集相关数据，然后收归至Kafka集群中进行数据清洗处理，作为高可靠性传输，Kafka集群中还需要进行高性能算法的去重计算，之后数据经由转换层进入到数仓或者hadoop集群中，这就是整个ETL过程，也是天路系统的工作。之后就是调度-北斗系统的工作了。其会按照依赖关系，进行数据指标的计算。即日指标计算不完成，无法完成月指标的计算，如果指标计算有误，手工触发任务计算，是否会触发下游任务一并计算......整个核心都会在调度-北斗系统中体现得淋淋尽致。经由调度计算HDFS数据吐入Hbase，数仓经由ODS层计算进入到展现层，还有分布式查询ES......这些，凡是市面上最优的技术，或者您能想到的查询模式，DataCenter全部为您做好了。

之后就是DataView和AutoBI大显身手的时候了，这两个产品线，不仅可以支持传统的关系型数据库，no sql数据库，诸如redis、mongodb等等全部支持，包括ES、rest这样的服务接口等等。因为走定制化的模式，只要现有技术能实现的，这两条产品线都会为您实现，而不需要您为了适应这两个产品线而去中转数据，一切云蛛系统全部为您适配好。因为是一家的产品，兼容性，么么哒！

怎么样？DataCenter算得上大数据处理界的黑科技了吧。而且全套流程，全部黑盒化，您只需要在web页面中配置好您的业务就好，剩下的系统全自动帮您处理。而作为其兄长，AutoBI和DataView更是将黑科技理念贯彻的淋淋尽致，无缝结合，完美展示，多维分析......所有您能想到的要求，此二者都会帮您呈现。这就是黑科技-云蛛系统，为您提供的一整套大数据解决方案！

转载于:https://my.oschina.net/u/3935928/blog/2254868