spark学习5：spark-shell

 

1.spark提供了交互式接口 spark-shell

spark-shell 实现了用户可以逐行输入代码，进行操作的功能。  即可以不像Java一样，编写完所有代码，然后编译才能运行

spark-shell 支持 Scala交互环境 和 python交互环境

在学习测试中可以使用spark-shell 进行API学习

2.进入Scala交互环境

在spark安装目录的根目录下，有个bin目录中有个 spark-shell 

 

在bin 目录中执行  ./spark-shell    回车键

即可进入 spark-shell 环境

可以进行操作

2.1 添加参数 --master  

指定Driver 生成在哪个节点

在本机生成Driver ，spark指挥所，创建sparkContext指挥官

在 spark安装根目录中 执行， 

 

 

eg:根目录下执行

./bin/spark-shell --master local    

标识用一个worker 线程运行spark， 即单线程

 

 

也可以指定线程数

./bin/spark-shell --master local[2]

标识用两个线程执行

 

./bin/spark-shell --master local[*]

用 * 表示用当前物理机最大 线程数， 比如 说当前机器 物理CPU是 2个，然后每个物理CPU是2个核，  那就是4个逻辑核，所以 【*】 最大线程是4

，所以说 如果当前物理机 最大逻辑核是 4， 如果 参数写个【8】 也是没有用的，8个线程中只有4个线程执行，然后另外4个线程等待

 

退出   :quit

即可退出

 

ps: 在根目录中执行 ./bin/spark-shell，  什么参数都不加，默认执行的是 ./bin/spark-shell --master local[*]

在集群中生成spark指挥所，生成sparkContext

 

一般有3中 集群模式 standalone 、yarn 、 mesos ，分别对应不同的集群管理模式

其中standalone 是spark 自带的集群资源管理，效果不是特别好。

yarn是 hadoop的集群资源管理，当spark 与 hadoop 集成场景，多使用该模式。

mesos是 单独一个专门做 集群资源管理的，与spark兼容性 比较好。

 

1） spark-shell的 独立集群模式，即standalone 模式

在spark根目录中执行

spark-shell --master spark://master:7077

或者  spark-shell --master spark://192.168.43.100:7077

即启用standalone 模式

2） yarn 集群模式的 spark-shell

 

yarn 有两种模式：yarn-client 和 yarn-cluster

 

首先要启动 hadoop 和yarn

第一种：yarn-client 模式

在spark 根目录上

./bin/spark-shell --master yarn

或者

./bin/spark-shell --master yarn --deploy-mode client

 

这两个命令是一样的都是进入yarn-client 模式

 

相当于把 Driver节点 （指挥所） 建在了 客户端上，在客户端中生成 sparkContext（指挥官），

所以该模式下 客户端在提交程序后，是不能关闭的，应为指挥所在客户端中

 

可以再yarn上看到

master:8088

 

第二种：yarn-cluster 

 

在spark 根目录上

./bin/spark-shell --master yarn --deploy-mode cluster

 

该模式下 客户端提交的程序会被 提交到 集群中，在集群中找一个节点作为 Driver端，生成指挥所和指挥官sparkContext

该模式下 客户端提交完代码后，可以关闭

 

3）mesos集群模式的spark-shell

 

在spark 根目录上

./bin/spark-shell --master mesos://***.**.*.*:端口号

 

2.2 添加 --jar 参数

--jar 参数指定一些需要用到的jar包

 

2.3添加 --executor-memory 参数

指定程序占用内存大小

--executor-memory 1G 

 

2.4 添加 --total-executor-cores 参数

指定程序开启几个逻辑核

 --total-executor-cores 2

 

 

 

 

 

 

# 保存计算结果

https://blog.csdn.net/hzp666/article/details/117122559