Spark-Shell的启动与运行

最新推荐文章于 2022-10-23 11:14:08 发布
最新推荐文章于 2022-10-23 11:14:08 发布
阅读量2.7k 收藏 3
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Allwordhuier/article/details/119509999
版权

一、运行spark-shell命令

执行spark-shell命令就可以进入Spark-Shell交互式环境。
在这里插入图片描述
命令如下：

spark-shell --master <master-url>

上述命令中,–master表示指定当前连接的Master节点，master-url用于指定spark的运行模式，可取的参考值如下所示：

参数名称功能描述
liocal使用一个Worker线程本地化运行Spark
liocal[*]本地运行spark，其工作线程数量与本机CPU逻辑核心数量相同
liocal[N]使用N个Worker线程本地化运行spark
spark：//host：post在Standlone
liocal
liocal
liocal

二、运行spark-shell读取HDFS文件

三、IDEA开发wordcount程序

四、Spark Rdd简单操作

1.从文件系统加载数据创建RDD

（1）从Linux本地文件系统加载数据创建RDD

val rdd = sc.textFile("file:///root/word.txt")
rdd.collect()

在这里插入图片描述

（2）从HDFS中加载数据创建RDD

会编程的李较瘦
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
使用Spark shell
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 6643
大数据实验教学系统使用Spark shellspark-shell命令及其常用的参数如下：   Spark的运行模式取决于传递给SparkContext的Master URL的值。 • 参数选项–master：这个参数表示当前的Spark Shell要连接到哪个master，如果是local[*]，就是使用本地模式启动spark-shell，其中，中括号内的星号表示需要使用几个CPU核心(core)，也就是启动几个线程模拟Spark集群。可选地，默认为local。 • 要查看完整的参数选项列表，可以执行“s
spark-examples:探索 Spark 的示例
06-29
spark-examples Anagrams、BigramAnalysis、Inverted index、vihicle 使用在这一点上是稳定的，所有其他类都是 WIP。 一些示例依赖于本地文件，我将修复这些输入路径。 为了从本地机器运行示例，请确保您的路径中有 spark 可用。 如果您想在集群上运行代码，请将您的节点配置为集群的边缘节点，方法是将 Hadoop 配置复制到您的机器上，并将 HADOOP_CONF_DIR 设置为配置所在的目录。 集群上的 Spark shell 可以通过， spark-shell --master yarn 启动 要在集群上运行您的代码，您需要首先通过执行 sbt assembly 创建一个 fat jar 从 jar 运行作业： spark-submit --class classToRun --master masterCanBeLocal
Spark
MP-214的博客
05-03 381
sparkspark大数据处理类型spark生态圈spark 基础概念spark运行流程RDDRDD依赖关系stage划分RDD运行过程spark部署Spark API 实践 spark 基于内存计算的大数据并行计算框架，可用于构建大型的，低延迟的数据分析应用 特点： 1，运行速度快 2，容易使用：支持Scala，java，Python和R语言，可以使用spark shell 进行交互式编程 3，...
spark学习5：spark-shell
hzp666的博客
05-19 7359
1.spark提供了交互式接口 spark-shell spark-shell 实现了用户可以逐行输入代码，进行操作的功能。 即可以不像Java一样，编写完所有代码，然后编译才能运行 spark-shell 支持 Scala交互环境 和 python交互环境 在学习测试中可以使用spark-shell 进行API学习 2.进入Scala交互环境 在spark安装目录的根目录下，有个bin目录中有个 spark_shell 2.1 在本机生成spark指挥所，创建sparkCo...
spark-shell
feiyuciuxun的博客
01-18 186
进入spark目录，运行 "bin/spark-shell"，就进入spark-shell环境 Spark context Web UI available at http://192.168.1.102:4040 Spark context available as 'sc' (master = local[*], app id = local-1579337250011). Spark s...
进入spark-shell环境
lxy99的博客
10-17 912
无
Spark-Shell的启动和运行
weixin_55983492的博客
08-09 4023
一、运行spark-shell命令 执行spark-shell命令就可以进入Spark-Shell交互式环境 [root@hadoop1 spark-2.1.0-bin-hadoop2.4]# spark-shell 二、Spark Rdd简单操作 1.从文件系统加载数据创建RDD----textFile （1）从Linux本地文件系统加载数据创建RDD scala> val rdd = sc.textFile("file:///root/word.txt") scala>.
启动spark shell详解
weixin_43866709的博客
03-12 6338
spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。 启动spark shell: /usr/local/spark-2.1.0-bin-hadoop2.6/bin/spark-shell --master spark://L1:7077,L2:7077 --executor-memory 2g --tota...
虚拟机中，怎么进入spark shell？
weixin_54348877的博客
03-30 3146
前提：spark已经安装在虚拟机中 输入：cd /export/servers/spark 输入：bin/spark-shell --master local[2] 出现一个很大的spark即可。
spark-in-docker
07-12
在 Docker 上运行和Dockerfiles 和脚本： DNS服务器火花大师一个 HDFS 名称节点1+ 个节点结合了一个 Spark 工作线程和一个 HDFS 数据节点启动 DNS 服务器： $ cd nameserver$ docker build ....Successfully built ...
spark-ad-hoc:一组脚本来让 Apache Spark 按照我想要的方式启动和运行
06-22
创建临时 Spark 集群的脚本 这个 repo 中的文件是 shell 脚本，让我可以使用 Mesosphere 在 Digital Ocean 云上创建一个 Spark 集群。 有关这一切如何运作的详细信息，请参阅我在博客文章。
Hadoop原理与技术Spark操作实验
05-24
3． 学会在Spark Shell中运行Scala程序。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 （一）Spark基础知识 （1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2...
vagrant-hadoop-2.4.1-spark-1.0.1:Vagrant项目使用Hadoop v2.4.1和Spark v1.0.1启动集群虚拟机
05-14
Vagrant项目使用Hadoop v2.4.1和Spark v1.0.1启动了由4个虚拟机组成的集群。 node1：HDFS名称节点+ Spark Master node2：YARN ResourceManager + JobHistoryServer + ProxyServer node3：HDFS数据节点+ YARN ...
Spark-Unit2-Spark交互式命令行与SparkWordCount
SHZHJ2000的博客
01-13 398
一、Spark交互式命令行 　　启动脚本：spark-shell 　　先启动spark：./start-all.sh 　　本地模式启动命令：/bin/spark-shell 　　集群模式启动命令：/bin/spark-shell --master spark://spark-1:7077 --total-executor-cores 2 --executor-memory 500...
Spark-core/SparkSQL总结及如何通过Jupyter交互式运行pyspark任务（spark on yarn）
a1314_521a的博客
08-16 2357
RDD对象RDD常用算子RDD优化缓存RDD共享变量与累加器RDD全局并行度设置SparkSQL DataFrame构建SparkSQL DataFrame数据处理代码风格SparkSQL DataFrame 数据清洗APISparkSQL DataFrame 注册成表SparkSQL 数据写出SparkSQL 定义udf函数SparkSQL 开窗函数SparkSQL Shuffle 分区数目SparkSQL 执行流程–RDD对象。........................
Spark学习_4（spark的启动方式解析）
weixin_38942735的博客
06-20 273
引言： 通过Spark-shell的交互式编程，有利于在spark学习的初级阶段练习和掌握基本的API，由于spark框架采用的scala语言就行开发的，所以使用spark-shell命令也会默认进入到scala的交互式执行环境中。 spark启动命令 在配置好了的系统中运行Spark-shell。就可以进入到交互式执行环境中。命令和参数如下： ./bin/spark-shell --master master-url 其中master-url表示spark的运行模式 master-url 含义
02：启动spark-shell
lijun05的博客
09-11 994
启动spark-shell
11.Linux下Spark的安装配置以及spark-shell的启动和 Spark集群环境搭建
热门推荐
ghw666666666的博客
10-23 1万+
（1）安装Spark 1.先用xftp将安装包传到home/hadoop/Downloads文件夹下，然后解压安装。 2.解压缩： 3. 更改文件夹名称： 4.修改hadoop用户对文件夹spark的访问权限： （2）配置 1.复制一份由Spark安装文件自带的配置文件模板：如图所示：返回结果：Pi is roughly 3.144115720578603。
使用maven对hudi进行构建（spark3.1，scala-2.12），编译完成后与spark集成，集成后使用spark-shell操作hudi，将spark-shell启动使用spark-shell运行
最新发布
04-04
以下是使用maven对hudi进行构建并与spark集成的步骤： 1. 下载hudi源码 可以从hudi的官方github仓库中下载源码，链接为：https://github.com/apache/hudi 2. 构建hudi 进入hudi源码目录，使用以下命令进行构建： ``` mvn clean package -DskipTests -Dspark.version=3.1.1 -Dscala-2.12 ``` 其中，-DskipTests表示跳过测试，-Dspark.version指定spark版本，-Dscala-2.12指定scala版本。 构建完成后，会在hudi的target目录下生成hudi-xxx.jar包。 3. 将hudi与spark集成 将hudi-xxx.jar包加入到spark的classpath中，可以通过以下命令进行添加： ``` export SPARK_DIST_CLASSPATH=$(hadoop classpath):/path/to/hudi-xxx.jar ``` 其中，/path/to/hudi-xxx.jar需要替换为hudi-xxx.jar包的实际路径。 4. 使用spark-shell操作hudi 启动spark-shell，运行以下命令，可以创建一个hudi表： ``` import org.apache.spark.sql.SaveMode import org.apache.hudi.QuickstartUtils._ val tableName = "hudi_test" val basePath = "/tmp/hudi_test" val dataGen = new DataGenerator val inserts = dataGen.generateInserts(10) val df = spark.read.json(spark.sparkContext.parallelize(inserts, 2)) df.write.format("org.apache.hudi"). options(getQuickstartWriteConfigs). option(PRECOMBINE_FIELD_OPT_KEY, "ts"). option(RECORDKEY_FIELD_OPT_KEY, "uuid"). option(PARTITIONPATH_FIELD_OPT_KEY, "partitionpath"). option(TABLE_NAME, tableName). mode(SaveMode.Append). save(basePath) ``` 运行以上命令后，会在/tmp/hudi_test目录下创建一个hudi表hudi_test。 接下来，可以使用spark-shell的API对hudi表进行操作，例如： ``` import org.apache.spark.sql.functions._ val df = spark.read.format("org.apache.hudi"). load("/tmp/hudi_test/*/*/*/*") df.show() ``` 以上命令会读取hudi_test表的数据，并展示结果。 至此，使用maven对hudi进行构建并与spark集成的步骤结束，可以使用spark-shell对hudi进行操作了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会编程的李较瘦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值