大数据架构、大数据开发与数据分析的区别

大数据产业

 

顾名思义大数据是一个以数据为核心的产业。大数据产业生成流程从数据的生命周期的传导和演变上可分为这几个部分：数据收集、数据储存、数据建模、数据分析、数据变现。

数据通过各种软件收集，通过云数据中心储存，通过数据科学家或行业专家建模和加工，最后数据分析找到大量看似不相关数据背后的因果关系，这些因果关系的意义会让人们在各个方面可以推测未来，减少试错成本，降低风险，解放生产力。

 

大数据人才方向

 

目前市场上人才需求观和部署企业自身大数据项目来看，大致分为3个方向：大数据架构、大数据开发、大数据分析。

 

大数据架构

 

大数据架构偏重基建和架构，更多注重的是Hadoop、Spark、Storm等大数据框架的实现原理、部署、调优和稳定性问题，以及它们与Flume、Kafka等数据流工具以及可视化工具结合技巧，再有就是一些工具的商业应用问题，如Hive、Cassandra、HBase、PrestoDB等。能够将这些概念理解清楚，并能够用辩证的技术观点进行组合使用，达到软/硬件资源利用的最大化，服务提供的稳定化，这是大数据架构人才的目标。

 

主要研究方向

架构理论：高并发、高可用、并行计算、MapReduce、Spark等

数据流应用：Flume、Fluentd、Kafka、ZeroMQ等

储存应用ÿ