Spark-Shell编程

最新推荐文章于 2023-06-09 10:38:15 发布
最新推荐文章于 2023-06-09 10:38:15 发布
阅读量1.9k 收藏 6
点赞数 1
分类专栏： spark 文章标签： spark scala shell 编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41455420/article/details/79458013
版权
本文介绍了如何使用Spark-Shell进行编程，包括在本地文件系统读取文件、从HDFS读取数据以及指定master地址运行。详细阐述了运行过程、配置修改、代码编写和执行结果，提供了一个完整的交互式编程体验。
摘要由CSDN通过智能技术生成

Spark-Shell编程

spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。

1. 运行spark-shell –master local[N] 读取本地文件

单机模式：通过本地N个线程跑任务，只运行一个SparkSubmit进程。

1.1 需求

读取本地文件，实现文件内的单词计数。

vi words.txt

hello cheng_cheng
hello you
hello me
1.2 运行spark-shell –master local[2]

这里写图片描述
查看进程

最低0.47元/天 解锁文章
Running_Tiger
关注
专栏目录
【大数据入门核心技术-Spark】（七）执行Spark任务的两种方式:spark-submit和spark-shell
03-17 1894
引入：spark-shell交互式编程确实很方便我们进行学习测试，但是在实际中我们一般是使用IDEA开发Spark应用程序打成jar包交给Spark集群/YARN去执行，所以我们还得学习一个spark-submit命令用来帮我们提交jar包给spark集群/YARN。引入：之前我们使用提交任务都是使用spark-shell提交，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！
spark-shell启动
04-28
本文档详细的介绍了spark的shell启动命令，具体细节等要求
《Spark核心技术与高级应用》——3.1节使用Spark Shell编写程序
weixin_33998125的博客
05-02 158
本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第3章，第3.1节使用Spark Shell编写程序，作者于俊　向海　代其锋　马海平，更多章节内容可以访问云栖社区“华章社区”公众号查看 3.1　使用Spark Shell编写程序要学习Spark程序开发，建议首先通过spark-shell交互式学习，加深对Spark程序开发的理解。spark-...
在spark-shell中运行代码 编写Spark独立应用程序 在集群上运行Spark应用程序
weixin_56814370的博客
05-09 2893
在spark-shell中运行代码 编写Spark独立应用程序 在集群上运行Spark应用程序
Spark入门学习交流—编程模型及SparkShell实战
读读书，敲敲代码，写写博客，思考思考人生。
04-14 514
1.yarn 1)hadoop  MapReduce框架的局限性          JobTracker单点瓶颈。MapReduce中的JobTracker负责作业的分发，管理和调度，同时还必须和集群中所有的节点保持heartbeat通信，了解机器的运行状态和资源情况。很明显JobTracker负责了太多的任务，如果集群的数量和提交job的数量不断增加，那么jobTracker的任务量也会随之
spark-shell
zhixingheyi_tian的博客
12-23 395
spark-shell 就是一个脚本 里面调度了spark-submit function main() { if $cygwin; then # Workaround for issue involving JLine and Cygwin # (see http://sourceforge.net/p/jline/bugs/40/). # If you're usi...
scala版本spark-shell
最新发布
qq_67393479的博客
06-09 190
1.执行命令，相当于执行命令，启动Scala版的Spark-Shell利用print函数输出了一条信息计算1 + 2 + 3 + …… + 100输出字符直角三角形打印九九表执行:quit命令，退出Spark Shell交互式环境2.
Spark-shell和Spark-submit
feizuiku0116的博客
02-07 369
Spark支持多种集群管理器（Cluster Manager）,取决于传递给SparkContext的MASTER环境变量的值：local、spark、yarn，区别如下： 一、Spark-shell 引入：之前我们使用提交任务都是使用spark-shell提交，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！ 实例：spark-shell可以携带参数 spark-shell --mast
spark-submit 与 spark-shell 介绍
a1786742005的博客
03-15 2006
一、spark-submit 介绍 1、spark-submit 介绍 程序一旦打包好，就可以使用 bin/spark-submit 脚本启动应用了。这个脚本负责设置 spark 使用的 classpath 和依赖，支持不同类型的集群管理器和发布模式。 2、运行方式 ./bin/spark-submit \ --class <main-class> --master <m...
使用Spark Shell编写wordcount程序
Syshangd的博客
05-26 781
使用Spark Shell编写wordcount程序 一、官网下载安装Scala：scala-2.12.8.tgzhttps://www.scala-lang.org/download/ tar-zxvfscala-2.12.8.tgz-C/opt/module mvscala-2.12.8scala 测试：scala-version 启动：scala 二、官网下载安装Spa...
spark学习5：spark-shell
hzp666的博客
05-19 7601
1.spark提供了交互式接口 spark-shell spark-shell 实现了用户可以逐行输入代码，进行操作的功能。 即可以不像Java一样，编写完所有代码，然后编译才能运行 spark-shell 支持 Scala交互环境 和 python交互环境 在学习测试中可以使用spark-shell 进行API学习 2.进入Scala交互环境 在spark安装目录的根目录下，有个bin目录中有个 spark_shell 2.1 在本机生成spark指挥所，创建sparkCo...
Spark源码解析-spark-shell
在路上的专栏
03-17 565
spark源码之spark-shell 分析
spark系列之spark-shell详解
liu_xue_xue的专栏
08-02 3656
Spark Shell是一个交互式的命令行，提供了一种学习API的简单方式，以及一个能够进行交互式分析数据的强大工具，他也是一个客户端，可以使用scala编写（scala运行与Java虚拟机可以使用现有的Java库）或使用Python编写。方便学习和测试，用于提交spark应用程序。 spark-shell的本质是在后台调用了spark-submit脚本来启动应用程序的。 启动spark-shell，命令如下： /spark-2.2.0-bin-hadoop2.7/bin/spark-shell .
spark-shell解析
weixin_30808575的博客
09-29 235
spark-shell 作用： 调用spark-submit脚本，如下参数--classorg.apache.spark.repl.Main --name "Spark shell" "$@"，如下： 具体流程是： #1 捕获终端信号，执行退出方法，恢复一些操作 #2 保存终端配置，当cygwin时关闭回显，之后再恢复 #3 执行spark-submit，调用repl.Main ...
使用Spark shell
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 7216
大数据实验教学系统使用Spark shellspark-shell命令及其常用的参数如下：   Spark的运行模式取决于传递给SparkContext的Master URL的值。 • 参数选项–master：这个参数表示当前的Spark Shell要连接到哪个master，如果是local[*]，就是使用本地模式启动spark-shell，其中，中括号内的星号表示需要使用几个CPU核心(core)，也就是启动几个线程模拟Spark集群。可选地，默认为local。 • 要查看完整的参数选项列表，可以执行“s
[Spark] spark-shell 命令使用
热门推荐
Cindy的博客
07-12 2万+
环境：操作系统：CentOS7.3Java: jdk1.8.0_45Hadoop：hadoop-2.6.0-cdh5.14.0.tar.gz 1. spark-shell 使用帮助[hadoop@hadoop01 ~]$ cd app/spark-2.2.0-bin-2.6.0-cdh5.7.0/bin [hadoop@hadoop01 bin]$ ./spark-shell --help Usa...
Spark之旅(一)：Spark shell 启动
幸运的Alina的博客
11-09 5119
最近开始琢磨Spark ,那么录下文章做下记录，先从启动Spark shell 开始吧，Spark集群是已经在服务器搭好了，下面展示如何开启Spark shell : 分布式集群环境下的spark shell 启动 ./spark-shell --master yarn --deploy-mode client ...
Spark Shell简单介绍
Yage的博客
05-17 4724
初始化Spark 编写一个Spark程序第一步要做的事情就是创建一个SparkContext对象，SparkContext对象告诉Spark如何连接到集群。在创建一个SparkContext对象之前，必须先创建一个SparkConf对象，SparkConf对象包含了Spark应用程序的相关信息。 每个JVM只能运行一个SparkContext，在创建另一个新的SparkContext对象前，必须将...
spark-shell交互式编程
03-16
Spark-shell是一种交互式编程工具，它可以让用户在命令行界面上直接输入代码并执行，从而快速地进行数据分析和处理。Spark-shell基于Scala语言，可以使用Spark的API来操作数据，支持各种数据源和格式，包括Hadoop、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值