Windows下安装Spark（亲测成功安装）_windows spark(1)

2401_84166702

于 2024-04-13 15:26:47 发布

阅读量781

点赞数 24

分类专栏：程序员文章标签： windows spark 大数据

本文链接：https://blog.csdn.net/2401_84166702/article/details/137716582

版权

本文详述了在Windows上安装Spark的步骤，包括JDK、Scala和Hadoop的安装。提供了版本选择和下载链接，指导读者成功配置环境，适合大数据初学者和需要在Windows上搭建Spark环境的开发者。

摘要由CSDN通过智能技术生成

首先，高级 API 剥离了对集群本身的关注，Spark 应用开发者可以专注于应用所要做的计算本身。
其次，Spark 很快，支持交互式计算和复杂算法。
最后，Spark 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等，而在 Spark 出现之前，我们一般需要学习各种各样的引擎来分别处理这些需求。

更快的速度
内存计算下，Spark 比 Hadoop 快100倍。
易用性
Spark 提供了80多个高级运算符。
通用性
Spark 提供了大量的库，包括Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX。开发者可以在同一个应用程序中无缝组合使用这些库。
支持多种资源管理器
Spark 支持 Hadoop YARN，Apache Mesos，及其自带的独立集群管理器
Spark生态系统
Shark：Shark基本上就是在Spark的框架基础上提供和Hive一样的HiveQL命令接口，为了最大程度的保持和Hive的兼容性，Spark使用了Hive的API来实现query Parsing和 Logic Plan generation，最后的PhysicalPlan execution阶段用Spark代替HadoopMapReduce。通过配置Shark参数，Shark可以自动在内存中缓存特定的RDD，实现数据重用，进而加快特定数据集的检索。同时，Spark通过UDF用户自定义函数实现特定的数据分析学习算法，

关注