大数据管理平台-工程日志

  现在我着手构建大数据管理系统，期间与很多有经验的人探讨过，数据系统的价值、应用场景，我的思想始终没有得到认可，看来是我错了！

我的观点是：一切业务的实现和技术的发展是基于数据的CRUD! 

或许我是一名有1年几个月经验的CRUD菜狗级搬砖小工吧，而我绝对不是那种想当然的极端人士，也可能是小时候看数码宝贝的原因吧，一切非1即0.....

为了作证个人的观点，我浏览了：阿里云大数据平台、亚马逊BD管理已经万方、万德等第三方数据提供者，以及数据可视化平台电商阿里巴巴、京东、国美在线等数据可视化web端，我想是不是都围绕这数据在运转？而数据本身并不是最重要的，在整个it或BD，甚至目前或日后的人工智能，甚至生物智能领域，各个行业都是至关重要的。非要说哪个重要，在于技术或业务实现难度上和人类自己的制度潜规则约束上。

那么数据从哪里产生，从哪里哪拿，怎么拿，拿什么数据，数据怎么处理，数据谁要，数据怎么给，给他怎么看，看完数据响应，响应的数据怎么回收。

于是从数据产生、数据来源、数据获得、数据处理、数据发布、数据响应效率、数据安全、数据存储传递环境等方面粗略细化了如下图示功能：

其中各个模块的技术通过模仿《大数据架构》及《分布式架构》，两书作者忘记了，在对各个模块进行选型。对于数据爬虫、自动化部署等精专的子模块，以及数据挖掘相关的如R语言/MapReduce等，有或无的添加到平台功能中去了，至于是否合理，恳请希望大家玩命拍砖，不怕不流血，就怕不是大出血！