Spark编程基础:00.初步了解
参考书籍:厦门大学-林子雨-Spark编程基础
————————————————————
先修课程:(当前状况:了解)
1.大数据技术导论:《大数据技术原理与应用》
2.数据库系统原理:(了解关系数据库与SQL语句)
3.编程能力:(了解面向对象编程基础知识,如Java、C++)
————————————————————
《Spark编程基础》简介:
-
以 Scala 作为开发 Spark 应用程序的编程语言。
-
全书共 8 章:
1.大数据技术概述
2.Scala语言基础
3.Spark的设计与运行原理
4.Spark环境搭建和使用方法
5.RDD编程
6.Spark SQL
7.Spark Streaming
8.Spark MLlib
————————————————————
课程实验:
实验一:Linux 系统的安装和常用命令
实验二:Scala 编程初级实践
实验三:Spark 和Hadoop的安装
实验四:RDD 编程初级实践
实验五:Spark SQL 编程初级实践
实验六:Spark Streaming 编程初级实践
实验七:Spark 机器学习库 MLlib 编程实践
综合实验:
案例一:淘宝双十一数据分析与预测
案例二:Spark+Kafka 构建实时分析 Dashboard 案例
(持续更新、完善中。。。)