Spark的DEMO演示

最新推荐文章于 2024-09-14 07:40:50 发布

foxhk

最新推荐文章于 2024-09-14 07:40:50 发布

阅读量341

点赞数 1

分类专栏： Spark

本文链接：https://blog.csdn.net/lijunaccp/article/details/98469898

版权

本文通过Python和Scala两个版本的实例，演示了Spark的基本操作，包括环境搭建、Maven工程配置、主函数创建以及如何提交Spark任务。

摘要由CSDN通过智能技术生成

Python版本筛选的例子

>>> lines = sc.textFile("../README.md")
>>> pythonLines = lines.filter(lambda line:"Python" in line)
>>> pythonLines.first()
u'high-level APIs in Scala, Java, Python, and R, and an optimized engine that'

Scala版本筛选的例子

scala> var lines = sc.textFile("../README.md")
var phythonLines = lines.filter(line => line.contains("Python"))
scala> phythonLines.first()
res1: String = high-level APIs in Scala, Java, Python, and R, and an optimized engine that

创建一个应用放在spark环境运行

首先建一个maven工程，在pom.xml中引入以下包

<dependency> <!-- Spark dependency -->
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.12</artifactId>
      <version>2.4.3</version>
      <scope>provided</scope>
    </dependency>