Spark Sreaming实战(一)-教程概述

1 实战目标

• 至今专栏的访问量
• 至今从搜索引擎引流过来的专栏的访问量

2 实战流程

3 可视化显示

• 使用Spring Boot整合Echarts
• 阿里云DataV数据可视化框架

4 教程概要

• 初识实时流处理
• 日志收集框架Flume
• 消息队列Kafka
• 实战环境搭建
• Spark Streaming入门
• Spark Streaming进阶
• Spark Streaming集成Kafka
• Spark Streaming集成Flume

5 计划

• 整合Flume、Kafka、 Spark Streaming打造通用的流处理平台基础
• Spark Streaming项目实战
• 数据处理结果可视化
• 拓展

6 前提

• 熟悉Linux基本命令
• 熟悉Scala/Python/Java
• 有Hadoop和Spark基础

7 环境

• JDK : 1.8
• Hadoop: CDH ( 5.7 )
• Scala : 2.12
• Spark: 2.4.1