数据驱动 DEMO SHOW

2019独角兽企业重金招聘Python工程师标准>>>

其实这个DEMO并不会有什么新的东西，只是把各个环节步骤平台工具过程和结果串连展示出来，而寻找发现目前急需解决的真正关键问题才是重要的，

举例：孙先生和周先生弃医从文拯救国人，真是因为他看清国人的病不在肉身而在思想，那大数据的问题在哪，答认识

 

认识理解与协作

介于大数据目前的现状，不同人角色的认识及市面概念的混乱，数据技术栈之多，数据处理环节，处理过程之复杂，各种辅助工具，中间件如雨后春笋，反而给这个跨学科，跨业务，产品，跨部门作为硬需求的这项技术本身增加了一些阻碍，想要给团队所有相关部门角色说清楚，统一认识或口径，这对交流协作和处理效率和引起不必要的返工甚至项目夭折，这件事本身非常困难，所以我们推出一个样例，来把整个过程展示出来，避免大家都说的是中国话，却听不懂，或是盲人摸象，管中窥豹，李逵李鬼分不清，甚至指鹿为马的事情发生 。

信息孤岛，数据孤岛，技术孤岛，项目孤岛的悲剧 

纵观互联网，云计算，大数据的掘起，解决的无非是信息不对称，数据孤立等导致的生产和效率低下的问题，所以信息传播，数据分享，共享经济也因此而掘起

而大数据并不是什么新或什么高深的技术，也逐渐从学术专家科研领域转到了工业生产生活中...

然而市场的吹捧神话，伪专家的鼓吹刚会讲不会做，技术门槛，人才缺口，公司的投入等原因影响，在实施过程中同样会走回孤岛深坑，

如认知不统一，关系数据库或单机版R、python来做大数据分析，或把数据计算引擎当数据库引擎做有状态数据事务性统计，

或请了一堆大牛用了很多牛B先进的技术然后做了一套专家系统，或是做了一人工智能产品却发现没有市场需求，

亦或是公司为上市拉风投糊乱造点假数据自欺欺人，也有公司兴高采烈接入大数据，然后又一本正经的放弃了

人难找，技术难学，项目难推进

说了些大的业界乱象和一些大坑，其实真实细节的问题更多，人力不知该找啥样的人，技术新手不知从哪开始入手，产品做不出原型设计，运维不知怎样介入，数据工程，数据分析，数据算法，市场运营决策等需求方不知怎么协调，其实类似事情以前提到车品觉前辈的书里有类似情景，需求方不知道有什么数据能做什么可不可信，分析师不知数据怎么来的数据源是否可靠，需求方真正想看什么，数据处理工程师不知上层要做什么到处怎样给数据，给哪些数据等等，还提一个“断层”的理念，其实都说的是一件事，角色不同，关心角度不同，个人的经验积累不同，认知高度不同，造成最终认识不统一，那真正的问题找到了怎么解就比较容易 了，不管你是头疼医脚水来土淹，还是科学化疗，还是选择中医根治，都可以，这也是为什么在这扯这么 一大篇，做这么一个过程演示原因和意义

落地与实施

最后说说希望与现实的差距，期望与实际总是不匹配，虽不是神话，那距科幻还有多远

作为一门朴实无华的技术，他到底为谁解决了什么问题，过程是怎样的，结果是怎样的，怎么解决的，善于解决哪些问题，还有哪些未解决，业界有哪些优化方案，同样哪些还待优化或迂回或避免

 

1.如果 你对 数据处理流程 完全不了解，请参考 数据支撑 使用EXCEL powerBi来了解整个处理分析建模展示的过程

2.如果你对 大数据 不是很了解，请参考 架构 相关栏目,或hadoop,spark离线 实时处理引擎相关内容

3.如果你对 数仓 不是很了解，请参阅 数仓 相关栏目 或其它资料

4.如果你想了解  数据处理详细细节，请参阅 数据接入和 数据处理栏目下的所有相关组件 的使用和官方文档

5.如果你是运维，对数据平台管理监控感兴趣，可以了解 数据平台规划准备 和 集群管理 章节内容

6.如果 你想查看仓库和管理元数据，请 参阅 dw 栏目和HUE相关文档及使用

7.如果你要做OLAP自助分析和BI报表，请 参阅 olap 和 BI相关栏目和测试例子

8.如果 你想了解机器学习相关处理和建模过程或是做一个DDS数据决策系统，或 你是算法或分析师，想在大数据平台上做 ad-hoc即席查询与探索分析一定喜欢和离不开 zeppelin 或 spark-notebook

转载于:https://my.oschina.net/hblt147/blog/1933772