【Spark】SparkShell的运行

最新推荐文章于 2024-01-18 15:48:51 发布
原创 最新推荐文章于 2024-01-18 15:48:51 发布 · 1.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #scala #big data

本文介绍SparkShell的基本使用方法及如何通过它访问HDFS上的文件。包括启动SparkShell、使用内置的SparkContext对象sc进行基本的数据处理操作，如读取文件、单词计数等，并详细解释了不同方式访问HDFS的具体步骤。

SparkShell


简介：spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。

spark shell的流程

  • 启动 Spark shell

  • 进入Spark 安装目录后执行 spark-shell --master master 就可以提交Spark 任务

  • Spark shell 的原理是把每一行 Scala 代码编译成类, 最终交由 Spark 执行
    Master的地址可以有如下几种设置方式

在这里插入图片描述

具体操作

  1. 在虚拟机中创建文件/export/data/wordcount.txt
    在这里插入图片描述
  2. 启动Spark shell
    在这里插入图片描述
  3. 执行如下代码
最低0.47元/天 解锁文章
spark-shell
zhixingheyi_tian的博客
12-23 525
spark-shell 就是一个脚本 里面调度了spark-submit function main() { if $cygwin; then # Workaround for issue involving JLine and Cygwin # (see http://sourceforge.net/p/jline/bugs/40/). # If you're usi...
使用Spark shell
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 7861
大数据实验教学系统使用Spark shellspark-shell命令及其常用的参数如下：   Spark的运行模式取决于传递给SparkContext的Master URL的值。 • 参数选项–master：这个参数表示当前的Spark Shell要连接到哪个master，如果是local[*]，就是使用本地模式启动spark-shell，其中，中括号内的星号表示需要使用几个CPU核心(core)，也就是启动几个线程模拟Spark集群。可选地，默认为local。 • 要查看完整的参数选项列表，可以执行“s
Spark-shell批量命令执行脚本的方法
01-10
批量执行spark-shell命令，并指定提交参数 #!/bin/bash source /etc/profile exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF import org.apache.spark.sql.SaveMode sql(set hive.exec.dynamic.partition=true
spark-shell启动
04-28
本文档详细的介绍了spark的shell启动命令，具体细节等要求
spark shell 执行命令
健康平安的活着的专栏
05-30 942
4.2.1通过spark-shell --master local[N] 读取本地数据文件实现单词统计 --master local[N] Local表示本地运行，跟集群没有任何关系，方便做一些测试和学习。 N表示一个正整数 Local[N]表示本地采用N个线程去运行任务 Spark-shell --master local[2] 它会产生一个spark submit 进程 Spark-shell --master local[2] Sc.textFile(“file:///root/wo.
Shell脚本控制并发执行spark程序
jane3von的专栏
08-06 1353
第一次写一个很复杂的Shell为了实现以下功能： 1.查询hive状态表，表中根据request_type类型不同，执行数据refresh或者report逻辑。如果发现有refresh，默认插入2条report数据。 2.如果同时有数据refresh和report，默认一定要refresh执行完，才能跑report. 3.因为这是hive做状态控制，所有之前发现当有前台数据录入此表，后台autosys执行此脚本同时发生时，产生了数据的不一致性。为此修改了逻辑，只会执行一次hive数据查询，即使...
记部署pyspark，运行spark-shell报错：无法指定路径
weixin_50754408的博客
01-18 1147
安装Scala很简单，把所有的下一步点完就可以在cmd里面运行scala了，也就是自动部署好了环境，但由于 “运行spark-shell报错：无法指定路径” 后续在找解决方法时也对相关的环境变量做了修改。但是这个文章中写道：“环境变量中的JAVA_HOME要带上bin目录”，这和我上面的第三种尝试解决方法冲突了，我便没有按照它的方法来，只是将Java重新安装到了一个不带空格路径的文件夹下。系统：win10_vmware虚拟环境部署。
Spark-Shell的启动与运行
Allwordhuier的博客
08-09 3173
一、运行spark-shell命令 执行spark-shell命令就可以进入Spark-Shell交互式环境。 命令如下： spark-shell --master <master-url> 上述命令中,–master表示指定当前连接的Master节点，master-url用于指定spark的运行模式，可取的参考值如下所示： 参数名称 功能描述 liocal 使用一个Worker线程本地化运行Spark liocal[*] 本地运行spark，其工作线程数量与本机CPU逻
Spark启动过程中遇到的错误 ./spark-shell –master spark://node001:7077
01-20
在尝试启动Spark Shell时，你遇到了一个特定的错误，该错误与Spark的内存配置有关。在你的描述中，错误信息明确指出系统内存259522560字节（约245MB）必须至少为471859200字节（约448MB），这意味着Spark在启动时...
spark任务shell运行_基于sparksql调用shell脚本运行SQL
weixin_30856391的博客
01-17 1071
[Author]: kwu基于sparksql调用shell脚本运行SQL，sparksql提供了类似hive中的 -e , -f ,-i的选项1、定时调用脚本#!/bin/sh# upload logs to hdfsyesterday=`date --date=‘1 days ago‘ +%Y%m%d`/opt/modules/spark/bin/spark-sql -i /opt/bin/...
spark学习5：spark-shell
hzp666的博客
05-19 7849
1.spark提供了交互式接口 spark-shell spark-shell 实现了用户可以逐行输入代码，进行操作的功能。 即可以不像Java一样，编写完所有代码，然后编译才能运行 spark-shell 支持 Scala交互环境 和 python交互环境 在学习测试中可以使用spark-shell 进行API学习 2.进入Scala交互环境 在spark安装目录的根目录下，有个bin目录中有个 spark_shell 2.1 在本机生成spark指挥所，创建sparkCo...
Spark交互式工具Spark Shell
weixin_34015566的博客
04-09 270
          　　不多说，直接上干货！       REPL 　　Read-Eval-Print-Loop，即交互式shell，以交互式方式来编程。  　　那么，什么是REPL呢，如下就是 [spark@master ~]$ python Python 2.6.6 (r266:84292, Nov 22 2013, 12:16:22) [GCC 4.4....
Spark-Shell编程
Running_Tiger的博客
03-06 2061
Spark-Shell编程spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。1. 运行spark-shell –master local[N] 读取本地文件单机模式：通过本地N个线程跑任务，只运行一个SparkSubmit进程。1.1 需求读取本地文件，实现文件内的单词计数。vi words.txthello c
Spark源码解析-spark-shell
在路上的专栏
03-17 653
spark源码之spark-shell 分析
Spark-shell交互式编程+HDFS操作，编写独立应用程序实现求二次排序问题
m0_51273386的博客
07-02 2354
Spark-shell交互式编程+HDFS操作，编写独立应用程序实现求二次排序问题
spark系列之spark-shell详解
liu_xue_xue的专栏
08-02 4193
Spark Shell是一个交互式的命令行，提供了一种学习API的简单方式，以及一个能够进行交互式分析数据的强大工具，他也是一个客户端，可以使用scala编写（scala运行与Java虚拟机可以使用现有的Java库）或使用Python编写。方便学习和测试，用于提交spark应用程序。 spark-shell的本质是在后台调用了spark-submit脚本来启动应用程序的。 启动spark-shell，命令如下： /spark-2.2.0-bin-hadoop2.7/bin/spark-shell .
spark启动脚本中涉及到的shell基础命令总结
qq_36297093的博客
06-11 658
今天看了王知无-大数据技术与架构老师的 Spark源码分析之Spark Shell 不由感慨 这不就是标准的模板脚本吗，今天我主要对启动过程中涉及到的一些shell脚本涉及的基础命令进行总结，在这里也非常感谢 老师兢兢业业的分析为我提供的基础的思路和素材。如果里面有什么不妥的地方也欢迎大家指出来，共勉。 我尽量不串联王知无-大数据技术与架构老师的博客内容只做 基础命令的总结，如果大家想看具体的启动分析欢迎大家光顾王老师博客 首先把启动脚本先放上去 #!/usr/bin/env bash ...
spark-shell解析
weixin_30808575的博客
09-29 297
spark-shell 作用： 调用spark-submit脚本，如下参数--classorg.apache.spark.repl.Main --name "Spark shell" "$@"，如下： 具体流程是： #1 捕获终端信号，执行退出方法，恢复一些操作 #2 保存终端配置，当cygwin时关闭回显，之后再恢复 #3 执行spark-submit，调用repl.Main ...
[Spark] spark-shell 命令使用
热门推荐
Cindy的博客
07-12 2万+
环境：操作系统：CentOS7.3Java: jdk1.8.0_45Hadoop：hadoop-2.6.0-cdh5.14.0.tar.gz 1. spark-shell 使用帮助[hadoop@hadoop01 ~]$ cd app/spark-2.2.0-bin-2.6.0-cdh5.7.0/bin [hadoop@hadoop01 bin]$ ./spark-shell --help Usa...
spark-shell运行scala
最新发布
05-30
### 如何使用 spark-shell 运行 Scala 代码 `spark-shell` 是 Apache Spark 提供的一个交互式 Scala Shell，用于快速测试和运行 Scala 代码[^1]。它允许用户在无需编译的情况下直接执行 Scala 脚本或命令。以下是关于如何使用 `spark-shell` 运行 Scala 代码的详细说明。 #### 启动 spark-shell 启动 `spark-shell` 的基本命令如下： ```bash spark-shell --master local[N] ``` 其中 `local[N]` 表示本地模式，并指定使用 N 个线程来模拟集群环境。如果未指定 `[N]`，默认值为 1[^1]。 #### 在 spark-shell 中运行 Scala 代码 启动后，用户可以直接在 `spark-shell` 提示符下输入 Scala 代码并立即查看结果。例如： ```scala val textFile = sc.textFile("hdfs://path/to/file") val wordCount = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _) wordCount.collect().foreach(println) ``` 上述代码从 HDFS 中读取文件，对每个单词进行计数，并打印结果[^1]。 #### 加载外部 Scala 文件 如果需要运行保存在文件中的 Scala 代码，可以使用 `:load` 命令加载文件。例如： ```bash :load /path/to/your/scala/file.scala ``` 这将执行文件中的所有代码[^2]。 #### 检查使用的 Scala 版本 不同的 Spark 版本支持不同的 Scala 版本。例如，Spark 3.3.2 使用的是 Scala 2.12.15，而 Spark 3.1.3 使用的是 Scala 2.12.10[^3]。可以通过以下命令检查当前 `spark-shell` 使用的 Scala 版本： ```scala scala.util.Properties.versionString ``` #### 示例代码 以下是一个简单的 Scala 程序，演示如何在 `spark-shell` 中计算包含特定字符的行数： ```scala val logFile = "file:///usr/local/spark-2.1.0/README.md" val sc = new org.apache.spark.SparkContext(new org.apache.spark.SparkConf().setAppName("Simple Application").setMaster("local")) val logData = sc.textFile(logFile, 2).cache() val numAs = logData.filter(line => line.contains("a")).count() val numBs = logData.filter(line => line.contains("b")).count() println(s"Lines with a: $numAs, Lines with b: $numBs") ``` 此代码片段读取本地文件，统计包含字符 `a` 和 `b` 的行数，并输出结果[^2]。 ### 注意事项 - 确保 Spark 环境已正确配置，包括 Hadoop 和其他依赖项。 - 如果需要访问 HDFS 文件，请确保 HDFS 集群可用，并提供正确的 URI。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值