大数据技术框架

一、大数据应用场景

1、互联网领域：搜索引擎、推荐系统、广告系统
2、电信领域：网络管理和优化、市场与精准营销、客户关系管理、企业运营管理、数据商业化
3、医疗领域：临床数据对比、药品研发、临床决策支持、实时统计分析、基本药物临床应用分析、远程病人数据分析、人口统计学分析、新农合基金数据分析、就诊行为分析、新的服务模式等。
4、金融领域：客户画像应用、精准营销、风险管控、运营优化、

 

二、企业级大数据技术框架

    从数据在信息系统中的生命周期看，大数据从数据源开始，经过分析、挖掘到最终获得价值一般需要经过6个主要环节，包括数据收集、数据存储、资源管理与服务协调、计算引擎、数据分析、数据可视化。
（1）数据收集层：负责将数据源中的数据近实时或实时收集到一起。数据源具有分布性、异构性、多样化及流式生产等特点，故将分散的数据源中的数据收集到一起通常是十分困难的事情。一个适用于大数据领域的收集系统，一般具备以下几个特点：扩展性、可靠性、安全性、低延迟。
（2）数据存储层：负责海量结构化与非结构化数据的存储。由于数据收集系统会将各类数据源源不断的发到中央化存储系统中，这对数据存储层的扩展性、容错性、存储模型等有较高要求。
（3）资源管理与服务协调层：资源管理负责对共享集群资源的不同应用们，采用轻量级隔离方案对各个应用进行隔离的方法，来解决资源利用率低、运维成本高、数据共享困难等问题。服务协调层负责避免重复开发分布式系统过程中的通用功能，包括leader选举、服务命名、分布式队列、分布式锁、发布订阅等。