Spark自带example

最新推荐文章于 2024-07-08 15:09:49 发布

Dennis985

最新推荐文章于 2024-07-08 15:09:49 发布

阅读量3.5k

点赞数 2

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/u012667450/article/details/124461238

版权

Spark 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

Spark自带examples案例

1.SparkPi

在SPARK_HOME目录下运行如下命令：

bin/run-example org.apache.spark.examples.SparkPi

结果如下图所示：

在这里插入图片描述

到此，案例成功运行，运行结果为：Pi is roughly 3.1402157010785055

2.others

其他案例也是类似，注意两个问题：

必须是run-example命令。
确定类名。

类名可以在SPARK_HOME目录下的examples/src/main/scala/org/apache/spark/examples/路径下。如下图所示。

在这里插入图片描述

可以看到，SparkPi也是其中一个example而已。

如果，我运行sql下的SparkSQLExample案例，也是如此。

命令如下：

bin/run-example org.apache.spark.examples.sql.SparkSQLExample

结果如下图：

在这里插入图片描述

其他的就不作过多阐述了。

3.spark-submit提交Pi程序

spark-submit --master yarn --deploy-mode client --queue default --num-executors 2 --driver-memory 1g --class org.apache.spark.examples.SparkPi  /usr/hdp/3.1.5.0-152/spark2/examples/jars/spark-examples_2.11-2.3.2.3.1.5.0-152.jar

spark-examples_2.11-2.3.2.3.1.5.0-152.jar

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Dennis985

关注关注

2
点赞
踩
9

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

spark-examples

06-16

火花示例建造制作罐子： mvn package 运行和测试将 inputfile.txt 上传到 hdfs： hadoop fs -put inputfile.txt 从 CDH5 集群中的网关节点运行 SparkWordCount： spark-submit --class com.javachen.spark.wordcount.SparkWordCount --master local \ spark-examples-0.0.1-SNAPSHOT.jar inputfile.txt 2 从 CDH5 集群中的网关节点运行 JavaWordCount： spark-submit --class com.javachen.spark.wordcount.JavaWordCount --master local \ spark-examples-0.

从零开始学习Spark--第3章 spark的example

最新发布

一个8年大数据开发工程师的碎碎念

07-08

2677

Apache Spark 提供了丰富的参数配置选项，以适应不同的部署环境、优化性能和管理资源。这些参数涵盖了从基本的集群设置（如 --master 和 --deploy-mode）到高级的资源分配（如 --executor-memory 和 --num-executors）。Spark 的参数多样性使其能够在各种场景下灵活调整，包括动态资源分配、GPU 支持和自定义日志配置等高级功能。有效的参数调整需要深入了解集群资源、工作负载特性，并遵循最佳实践。

spark-examples:探索 Spark 的示例

06-29

spark-examples Anagrams、BigramAnalysis、Inverted index、vihicle 使用在这一点上是稳定的，所有其他类都是 WIP。一些示例依赖于本地文件，我将修复这些输入路径。为了从本地机器运行示例，请确保您的路径中有 spark 可用。如果您想在集群上运行代码，请将您的节点配置为集群的边缘节点，方法是将 Hadoop 配置复制到您的机器上，并将 HADOOP_CONF_DIR 设置为配置所在的目录。集群上的 Spark shell 可以通过， spark-shell --master yarn 启动要在集群上运行您的代码，您需要首先通过执行 sbt assembly 创建一个 fat jar 从 jar 运行作业： spark-submit --class classToRun --master masterCanBeLocal

Spark 1

sj天问的博客

12-01

518

Spark概述什么是Spark 回顾：Hadoop主要解决，海量数据的存储和海量数据的分析计算。 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Hadoop与Spark历史 Hadoop的Yarn框架比Spark框架诞生的晚，所以Spark自己也设计了一套资源调度框架。 Hadoop与Spark框架对比 Spark内置模块 Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集

Spark Example分析总结（一）

xiaoliu_1的博客

02-27

975

目录前言（一）Pi Iteration 总结（二）KMeans Spark 例子中的本地实现： KMeans的Spark 版本总结逻辑回归 LR Logistic regression Local SparkLR 前言这段时间会做一系列 Spark 的Example 的分析，主要是对于官方提供的例子，对于RDD， Streaming，ML 等相关的例子进行分析，也包括对于平时使用 Spark 应用的场景进行约简之后的pattern。想进行这次总...

spark pi（org.apache.spark.examples.SparkPi 原理）

赤兔胭脂小吕布的博客

03-09

499

spark pi org.apache.spark.examples.SparkPi 原理 package com.shujia.spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import scala.util.Random object Demo22PI...

spark 运行自带样例SparkPi、spark-examples报错

楠楠好难

04-15

1万+

错误： scala> ./spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.12-3.10.1.jar 10 scala> spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_

SparkExample:Spark相关的一些例子，代码详细注释并赋予相关代码解析

05-15

基于spark大数据平台写的一些简单例子关于spark平台的Streaming、sql、sparkMllib、spark写的一些简单的demo程序这边可以直接将项目下载下来导入到eclipse或则Intellij IDE中，每一个程序都能单独执行，里面给出了...

spark_examples:Spark程序的示例测试程序

05-16

- **Standalone模式**：Spark自带的集群管理器，适合小规模集群。 - **YARN模式**：在Hadoop的资源管理器上运行Spark作业。 - **Mesos模式**：在Mesos集群上调度资源。 5. **Spark性能优化** - **缓存和持久化*...

Spark：用Scala和Java实现WordCount

03-03

用Scala和Java实现WordCount，其中Java实现的JavaWordCount是spark自带的例子（$SPARK_HOME/examples/src/main/java/org/apache/spark/examples/JavaWordCount.java）OS:RedHatEnterpriseLinuxServerrelease6.4...

spark-java-example:在Spark中运行一个简单的Java程序

05-19

Spark Java示例运行Spark作业的命令：（可以在Spark Bin目录下运行） spark-submit --class com.techprimers.spark.App /Users/apple/Downloads/spark-java-example/target/spark-java-example-1.0-SNAPSHOT.jar --master local[3] 可在此处访问Spark UI： http://192.168.0.100:4040/ : http://192.168.0.100:4040/ : http://192.168.0.100:4040/

spark 分布式集群搭建

06-12

Spark Standalone 是 Apache Spark 提供的一种自带的集群管理模式，主要用于管理 Spark 应用程序的执行环境。这种模式简单易用，适合于开发测试以及中小型生产环境。 #### Spark Standalone 部署配置 ##### ...

spark组件部署.doc

05-27

首先，Spark部署有四种主要模式：Local模式（单机模式）、Standalone模式（使用Spark自带的集群管理器）、YARN模式（使用YARN作为集群管理器）和Mesos模式（使用Mesos作为集群管理器）。这里主要讲解的是Local模式，...

Spark Examples

03-29

107

Spark Examples Spark ExamplesSpark ExamplesSpark is built around distributed datasets that support types of parallel operations: tran...

spark样例测试

doctorq

03-20

4116

spark on yarn计算平台已经搭建完成,下面来利用这个平台运行下官方的样例,样例全部在/home/work/spark目录下执行 SparkPi ./bin/spark-submit –class org.apache.spark.examples.SparkPi –master yarn –deploy-mode cluster examples/jars/spark-examples

Spark基础篇

辛聪明的博客

11-15

646

目录一、什么是Spark 二、主要角色 1、Driver（驱动器） 2、Executor（执行器） 3、Local模式（单个服务器） 4、基本操作 5、Standalone模式（Master+Slave集群模式） 6、Yarn模式（重点） 7、Mesos模式三、案例 1、wordcount案例一、什么是Spark spark是一种基于内存的快速、通用、可扩...

Spark入门

qq_37247026的博客

06-12

675

回顾：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

关于spark作业提交：spark运行example为例

赣江

09-18

1万+

示例：yarn-cluster提交： spark-submit --master yarn --deploy-mode cluster --executor-memory 2G --executor-cores 2 --queue root.helowin --class org.apache.spark.examples.SparkPi spark-examples-1.6.3-hadoop2...

spark 运行example

08-30

您好！要在Spark中运行示例，可以按照以下步骤操作： 1. 首先，确保您已经安装了Spark。如果没有安装，请先下载和安装Spark。 2. 打开终端或命令提示符，并导航到Spark安装目录的bin文件夹。 3. 在bin文件夹中，您会找到一个名为`spark-submit`的可执行文件。该文件用于提交Spark应用程序。 4. 在终端或命令提示符下使用`spark-submit`命令来运行示例。命令的格式如下： ``` spark-submit --class <example_class> --master <master_url> <path_to_example_jar> <arguments> ``` 其中： - `<example_class>`是要运行的示例类的名称。 - `<master_url>`是Spark集群的URL。如果您只想在本地模式下运行示例，则可以使用`local[*]`作为master_url。 - `<path_to_example_jar>`是包含示例源代码和构建的JAR文件的路径。 - `<arguments>`是示例程序可能需要的任何参数。请根据您具体要运行的示例，替换相应的参数。 5. 运行命令后，Spark将开始执行示例程序。您可以在终端或命令提示符下看到输出日志和结果。希望这个解答对您有帮助！如果您有任何其他问题，请随时提问。