第1章课程介绍
1、课程说明
从环境搭建、Spark基础语法入手,逐层递进,实战项目贴近真实分析系统流程,完全按照真实分析系统级别
代码质量和工程开发流程进行授课,让你理解这套技术在企业中被使用的真实流程,更好的掌握Spark各个基础知
识点,掌握数据分析全流程操作。
目标:通过此课程的学习使学员能够独立开发基于Spark的数据分析与预测系统
适合人群:掌握Java、mysql数据库编程知识,有Hadoop、Hbase、Hive等大数据技术基础,希望锻炼实际
应用开发能力的同学
技术储备要求:掌握Java语言开发/Mysql数据库开发/了解Linux系统/熟悉Hadoop、Hbase、Hive等大数据
技术
2、章节介绍
第1章课程介绍
本章主要介绍课程的知识大纲,学习前提,讲授方式及预期收获。
第2章 环境部署
本章主要介绍各种软件的安装和配置,包括Vmware虚拟机软件、Linux系统、Hadoop、Hbase、Hive、
Sqoop. Spark.
第3章 Spark基础
本章介绍Spark的基本使用,包括如下内容:大数据技术概述、Scala语言基础、Spark的设计与运行原理、
Spark环境搭建和使用方法、RDD编程、Spark SQL。
第4章项目实现
本章会带你开发基于Spark的数据分析与预测项目。项目涉及数据预处理、存储、查询和可视化分析等数据处理
全流程所涉及的各种典型操作;涵盖Linux、MySQL、Hadoop、Hive、Sqoop、ECharts、Spark等系统和软件的
安装和使用方法,通过本案例,将有助于大家综合运用大数据课程知识以及各种工具软件,实现数据全流程操作。