查看spark版本linux,如何查看spark版本和scala版本

如何查看spark版本和scala版本

发布时间：2018-11-21 05:48,

浏览次数：2445

, 标签：

spark

scala

1.进入命令行状态

windows 电脑

方法一：

在系统桌面左下侧搜索栏输入CMD或者命令提示符，右键点击命令提示符在右键菜单中点击：以管理员身份运行，可以打开系统【管理员命令提示符】窗口。

苹果电脑: 打开终端

在 Mac 上打开 Finder 窗口，然后在「应用程序」目录中直接搜索“终端”关键字，也可以搜索到；

2.在命令行窗口输入,然后回车 java -version,确认你的java 环境是java8,如果不是请切换到java8

$ java -version

java version “11” 2018-09-25

Java™ SE Runtime Environment 18.9 (build 11+28)

Java HotSpot™ 64-Bit Server VM 18.9 (build 11+28, mixed mode)

我的是Java11 和java8的同时安装的。

切换后变成:

java version “1.8.0_181”

Java™ SE Runtime Environment (build 1.8.0_181-b13)

Java HotSpot™ 64-Bit Server VM (build 25.181-b13, mixed mode)

$ which java #可以查看Java 所在目录

/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/bin/java

* $ spark-shell

纯文字输出如下:

2018-11-21 05:42:19 WARN NativeCodeLoader:62 - Unable to load native-hadoop

library for your platform… using builtin-java classes where applicable

Setting default log level to “WARN”.

To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use

setLogLevel(newLevel).

2018-11-21 05:42:25 WARN Utils:66 - Service ‘SparkUI’ could not bind on port

4040. Attempting port 4041.

Spark context Web UI available at http://192.168.5.105:4041

Spark context available as ‘sc’ (master = local[*], app id =

local-1542750145331).

Spark session available as ‘spark’.

Welcome to

____ __

/ / ___ / /

\ / _ / _ `/ __/ '/

// .__/_,// //_\ version 2.4.0

//

Using Scala version 2.11.12 (Java HotSpot™ 64-Bit Server VM, Java 1.8.0_181)

Type in expressions to have them evaluated.

Type :help for more information.

* 有一点要特别注意的是: spark 所在机器安装的scala 版本不一定和spark 安装包自带的scala版本一致。比如我的电脑安装的是 Scala

2.12.6,但是spark 自带的 Scala版本是2.11.12。 如下信息所提示.

$ scala

Welcome to Scala 2.12.6 (Java HotSpot™ 64-Bit Server VM, Java 1.8.0_181).

Type in expressions for evaluation. Or try :help.