2021SC@SDUSC
目录
一、Spark使用场景
Hadoop常见于解决高吞吐量、批量处理的业务场景,但是如果需要实时查看浏览量统计信息,Hadoop显然不符合这样的要求。
Spark通过内存计算能力极大地提高了大数据处理速度,满足了以上场景地需求,同时,通过对Java、python等语言的支持,极大的方便了用户地使用。而且,Spark还支持SQL查询、流式计算、图计算、机器学习等。
二、Spark特点
1.快速处理能力。
2.易于使用。Spark支持Java、Scala、python等语言编写应用程序,大大降低了使用者的门槛;
3.支持查询。Spark支持SQL以及Hive SQL对数据查询;
4.支持流式计算。与MapReduce只能处理离线数据相比,Spark还能够支持实时的流计算。依赖Spark Streaming对数据进行实时处理,能力强于Storm。
5.可用性高。Spark自身实现了Standalone部署模式,此模式下Master可以有多个,能够解决单点故障问题。
6.丰富的数据源支持。除了可以访问操作系统自身的文件系统和HDFS,还可以访问HBase、Hive以及任何Hadoop的数据源。
三、项目准备
1.运行环境准备
2.Spark体验
3.阅读环境准备
4.Spark源码编译与调试
四、组内分工
Spark Core 李子旭、王博涵
Spark Streaming 陈政
Spark SQL 于成龙
Graphx 迟淏
五、未来博客更新
未来会深入研究Spark,及时做出相应的代码分析。