hadoop2.7.6和spark-2.3.0以及scala环境搭建

1 java1.8环境配置 安装目录不要有空格,否则后面配置hadoop很麻烦
   参考 jdk1.8配置 

2 scala环境配置
   scala的版本很多,但是spark的官网告诉我们spark-2.3.0使用2.11.x
   scala下载地址, 我下载的是 scala-2.11.12.msi
  
   新建SCALA_HOME:D:\Soft\scala
  
   Path后面追加: %SCALA_HOME%\bin;

CLASSPATH后面追加:%SCALA_HOME%\lib\tools.jar;
 
 在cmd中输入 scala 进行测试

 
3 hadoop2.7.6环境配置 注意安装目录不要有空格
在前面的日志中详细介绍了hadoop2.7.6的安装方法

4 spark2.3.0环境配置  注意安装目录不要有空格
 spark下载地址: 一定要选择对应Hadoop版本的Spark版本,如下图中所示;spark-2.3.0-bin-hadoop2.7.tgz
Pre-built版本意思是已经编译了好了,下载来直接用。
 新建SPARK_HOME:D:\Soft\spark
 
 Path后面追加: %SPARK_HOME%\bin;

 
5 测试spark环境
在cmd中输入 spark-shell

 
顺利完成!!!!

阅读更多
换一批

没有更多推荐了,返回首页