4.在spark-shell中运行代码(华为云学习笔记,Spark编程基础,大数据)

在spark-shell中运行代码
① 能够使用正确的方式启动spark-shell;
② 能够在spark-shell中进行交互式编程。
实验原理
-> spark-shell
spark-shell提供了简单的方式来学习 API,并且提供了交互的方式来分析数据。你可以输入一条语句,spark-shell会立即执行语句并返回结果,这就是我们所说的REPL(Read-Eval-Print Loop,交互式解释器),它为我们提供了交互式执行环境,表达式计算完成以后就会立即输出结果,而不必等到整个程序运行完毕,因此可以即时查看中间结果并对程序进行修改,这样可以在很大程度上提升程序开发效率。spark-shell支持Scala和Python,由于Spark框架本身就是使用Scala语言开发的,所以,使用spark-shell命令会默认进入Scala的交互式执行环境。如果要进入Python的交互式执行环境,则需要执行pyspark命令。
-> spark-shell启动命令含义
在Linux终端中运行spark-shell命令,就可以启动进入spark-shell交互式执行环境。spark-shell命令及其常用的参数如下:
$ ./bin/spark-shell --master
Spark的运行模式取决于传递给SparkContext的的值。
可以是下表中的任一种形式。
(1)local。使用一个Worker线程本地化运行Spark(完全不并行);
(2)local[]。使用与逻辑CPU个数

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值