大数据实时处理–Spark及BDAS技术应用

培训要点

互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论，成为了海量信息的多种形式。当数据以成百上千TB不断增长的时候，我们在内部交易系统的历史信息之外，需要一种基于大数据实时分析的决策模型和技术支持。

大数据通常具有：数据体量(Volume)巨大,数据类型(Variety)繁多,价值(Value)密度低,处理速度(Velocity)快等四大特征。如何有效管理和高效处理这些大数据已成为当前亟待解决的问题。大数据实时处理意味着更严峻的挑战，更好地管理和处理这些数据也将会获得意想不到的收获。

Spark生态系统(BDAS项目)已经发展成一个包含多个子项目的集合，Spark SQL、Spark Streaming、GraphX、MLlib等，本课程将介绍Spark大数据计算框架、架构、计算模型和数据管理策略，及Spark在业界的应用。

本课程从大数据实时处理技术以及Spark实战的角度，结合理论和实践，全方位地介绍Spark大数据实时处理工具的原理和内核。

本课程教学过程中提供了案例分析来帮助学员了解如何用BDAS系列工具来解决具体的问题，并介绍了从大数据中挖掘出有价值的信息的关键所在。

本课程不是一个泛泛的理论性、概念性的介绍课程，而是针对问题讨论解决方案的深入课程。讲师对于上述领域有深入的理论研究与实践经验，在课程中将会针对这些问题与学员一起进行研究，在关键点上还会在实验环境中演示、实践，以加深对于这些解决方案的理解。通过本课程学习，希望推动大数据相关的项目开发上升到一个新水平。

 

五、培训内容

第一讲 Spark大数据实时处理技术

  1）大数据处理技术

  2）Spark实时处理技术

<