山东大学软件工程应用与实践——Spark

 2021SC@SDUSC

目录

一、Spark使用场景

二、Spark特点

三、项目准备

四、组内分工

五、未来博客更新

---

一、Spark使用场景

  Hadoop常见于解决高吞吐量、批量处理的业务场景，但是如果需要实时查看浏览量统计信息，Hadoop显然不符合这样的要求。

  Spark通过内存计算能力极大地提高了大数据处理速度，满足了以上场景地需求，同时，通过对Java、python等语言的支持，极大的方便了用户地使用。而且，Spark还支持SQL查询、流式计算、图计算、机器学习等。

 

 

 

二、Spark特点

1.快速处理能力。

2.易于使用。Spark支持Java、Scala、python等语言编写应用程序，大大降低了使用者的门槛;

3.支持查询。Spark支持SQL以及Hive SQL对数据查询;

4.支持流式计算。与MapReduce只能处理离线数据相比，Spark还能够支持实时的流计算。依赖Spark Streaming对数据进行实时处理，能力强于Storm。

5.可用性高。Spark自身实现了Standalone部署模式，此模式下Master可以有多个，能够解决单点故障问题。

6.丰富的数据源支持。除了可以访问操作系统自身的文件系统和HDFS，还可以访问HBase、Hive以及任何Hadoop的数据源。

 

三、项目准备

１．运行环境准备

2.Spark体验

3.阅读环境准备

4.Spark源码编译与调试

四、组内分工

Spark Core            李子旭、王博涵

Spark Streaming　陈政

Spark SQL　         于成龙

Graphx　               迟淏

五、未来博客更新

未来会深入研究Spark，及时做出相应的代码分析。