SparkStreaming项目（一）项目背景

本项目主要是慕课网上实战视频，通过自己实践记录
视频地址：
https://coding.imooc.com/class/153.html
记录项目的实践，包括项目过程中的详细步骤以及代码，主要涉及大数据生态实时流处理的知识，包括：
Flume分布式日志收集框架
Kafka分布式消息队列
SparkStreaming整合Flume以及Kafka
数据可视化

功能实现

主要实现俩个功能：
1、统计今天到现在为止实战课程的访问量
2、统计今天到现在为止从搜索引擎引流过来的实战访问量

项目流程

数据产生–采集–清洗–统计分析–入库–可视化
需求分析->数据产生->数据采集->数据清洗->数据统计分析->统计结果入库->数据可视化

可视化

1、使用Spring Boot整合Echarts实现
2、使用阿里云DataV数据可视化框架实现

预备知识

1、熟悉Linux基本命令
2、熟悉Scala（课程所用语言）、Python、Java中的任何一门编程语言
3、有Hadoop和Spark基础