Spark-快速上手

最新推荐文章于 2023-07-23 10:00:00 发布

07H_JH

最新推荐文章于 2023-07-23 10:00:00 发布

阅读量3.2k

点赞数

分类专栏：大数据框架 spark/hadoop学习文章标签： spark

本文链接：https://blog.csdn.net/jianghuxiaojin/article/details/51213628

版权

大数据框架同时被 2 个专栏收录

107 篇文章 24 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

spark/hadoop学习

36 篇文章 14 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

这篇博客介绍了Spark的基础知识，包括如何快速上手Spark Shell，理解RDD（弹性分布式数据集）的概念和操作，以及如何编写独立的Spark应用程序。内容涵盖RDD的actions和transformations，缓存机制，以及使用Spark Streaming的基本概念。通过实例展示了如何在Scala和Python中操作RDD，强调了Spark的交互式数据分析能力和数据处理流程。

摘要由CSDN通过智能技术生成

快速上手

Spark 的交互式 shell( 用 Python 或Scala) 介绍它的 API 。当演示如何在 Java, Scala 和 Python 写独立的程序时，看编程指南里完整的参考。依照这个指南，首先从 Spark 网站下载一个 Spark 发行包。因为我们不会使用 HDFS ，你可以下载任何 Hadoop 版本的包。使用 Spark Shell。Spark 的 shell 作为一个强大的交互式数据分析工具，提供了一个简单的方式来学习 API 。它可以使用 Scala( 在 Java 虚拟机上运行现有的 Java 库的一个很好方式 ) 或 Python 。在 Spark目录里使用下面的方式开始运行：

./bin/spark-shell

Spark 最主要的抽象是叫Resilient Distributed Dataset(RDD) 的弹性分布式集合。RDDs 可以使用 Hadoop InputFormats(例如 HDFS 文件) 创建，也可以从其他的 RDDs 转换。让我们在Spark 源代码目录从 README 文本文件中创建一个新的 RDD。