Spark分析（四）Spark Streaming基本原理（1）

最新推荐文章于 2024-07-11 15:23:01 发布

SDU_可颂

最新推荐文章于 2024-07-11 15:23:01 发布

阅读量540

点赞数

分类专栏：项目实训（2021年）文章标签： spark

本文链接：https://blog.csdn.net/m0_55939339/article/details/120916884

版权

2021SC@SDUSC

为方便后面针对Spark Streaming的剖析，这里先对Spark Core的基础概念做简要的介绍。
与其他现有的大数据处理的开源软件相比，Spark有如下优势：

轻量级快速处理
与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，而基于硬盘的运算也要快10倍以上。
易于开发应用
Spark支持Java、Python的Scala的API，自带了80多个算法，同时允许在Shell中进行交互式计算。用户可以利用Spark像书写单机程序一样书写分布式程序。轻松利用Spark搭建大数据内存计算平台并充分利用内存计算实现海量数据的实时处理。
高通用性
Spark提供了统一的解决方案，Spark可以用于批处理、交互式查询（通过Spark SQL）、实时流处理（通过Spark Streaming）、机器学习（通过Spark MLlib）和图计算（通过Spark GraphX）。这些不同类型的处理都可以在同一个应用中无缝使用。
可融合性
Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark强大的处理能力。Spark也可以不依赖于第三方的