Spark Streaming实时流处理项目实战(一)课程介绍

1.1课程介绍

1.课程流程

2.可视化效果

采用了两种实现方式：第一种：使用Sparing Boot整合Echarts实现；第二种：使用阿里云DataV数据可视化框架实现

3.课程安排

• 整合Flume、Kafka、Spark Streaming打造通用的流处理平台基础
• Spark Streaming项目实战
• 数据处理结果可视化
• 拓展

4.环境参数

• Linux版本：Centos7.3
• JDK版：1.8
• Hadoop版本：CDH5.16
• Scala版本：2.11.8
• Spark版本：2.2.0版本
• 开发工具：IDEA

CDH版的Hadoop生态的软件包下载地址：http://archive.cloudera.com/cdh5/cdh/5/

注意选择的版本尾号一定要一样，否则会有版本冲突的问题。