windows下的java,hadoop,spark环境搭建

       最近新购置的电脑到货~

       准备从环境的搭建开始记录下我编程学习和工作成长的全过程.

       废话不多说,开始搭建windows下的大数据开发环境.

 

  1.java jdk的安装以及环境变量的配置

 

 

下载链接:jdk下载链接(在这个链接中根据操作系统的位数选择适合自己的jdk版本)

博主选择的是jdk1.8版本下载结束后,开始对其进行安装.

双击上面截图的图标,开始安装!

首先,选择安装路径:注:第一次设置的地址是jdk的安装路径

继续点击,设置安装路径,注意:这次选择的地址是jre的安装路径!

 

安装结束!

 

 

接下来开始配置  java的环境变量

首先进入我的电脑-->右键属性-->点击高级系统设置-->环境变量,

进入到环境变量的设置.

首先添加变量: JAVA_HOME 输入的路径名为,jdk的安装路径

 

修改 path 路径

windows10系统直接点击添加,系统会默认帮助添加分号:    %JAVA_HOME%\lib

 

这样,java环境变量就配置完成了.

接下来,windows+r，输入cmd,打开系统命令提示框

输入java -version来检验我们的配置吧!

结果如下图所示:

如此,说明java环境变量已搭建成功!

 

我使用的hadoop版本2.6.0(推荐2.6或者2.7版本的,因为这两个版本为官方的稳定版本)

因为能够接触到hadoop和spark的,不会是初学者,所以我对hadoop和spark的安装下载过程不在赘述,直接进入到环境变量的配置:

 

2.hadoop的安装以及环境变量的配置

 

同样的,进入我的电脑-->右键属性-->点击高级系统设置-->环境变量,

进入到环境变量的设置.

 

首先创建hadoop的环境变量，添加环境变量：HADOOP_HOME

输入HADOOP的安装路径：E:\windows\hadoop-2.6.0

在path路径下:添加如下路径%HADOOP_HOME%\bin

在命令台上输入：hadoop检测 hadoop环境变量是否配置成功，出现如下图所示,证明配置成功!

 

3.spark的安装以及环境变量的配置

spark的版本是1.6.0,对应于hadoop的2.6.0版本

进入我的电脑-->右键属性-->点击高级系统设置-->环境变量,进入到环境变量的设置.

首先添加scala的环境变量,新建SCALA_HOME

输入scala的安装路径:E:\windows\scala-2.10.7

在path变量下,添加:%SCALA_HOME%\bin

输入scala命令，检测scala环境变量是否配置成功！

添加spark的环境变量,新建SPARK_HOME

输入spark的安装路径:E:\windows\spark-1.6.0-bin-hadoop2.6

在path变量下,添加:%SPARK_HOME%\bin

配置完成后，输入spark-shell，出现下图所示界面证明spark环境变量配置成功！

 

这样，我们所需要的windows下的环境变量就已经配置成功了！

开始进行开发吧！！

     

注意事项:1.下载的jdk版本要和自己操作系统的位数相对应!

                2.jdk的安装路径不能含有中文,否则会安装失败!

                3.path里面有两种修改方式:

                   第一种:也就是博主所采用的的使用%JAVA_HOME%\lib这种相对路径的方式,指向jdk安装路径下的lib目录

                   第二种:采用绝对路径的方式:直接配置自己jdk安装路径下的lib的绝对目录:博主的是:E:\windows\jdk1.8.0\jdk\bin,需要根据自己的实际情况进行调整,推荐采用第一种方式.

               4. hadoop和spark的环境变量有时候在配置完毕后不会马上生效，检验之后，确定自己的环境变量配置没有问题的话，重启电脑即可！

               5.  path和classpath之间的区别

        1. PATH环境变量。作用是指定命令搜索路径，在i命令行下面执行命令如javac编译java程序时，它会到PATH变量所指定的路径中查找看是否能找到相应的命令程序。我们需要把jdk安装目录下的bin目录增加到现有的PATH变量中，bin目录中包含经常要用到的可执行文件如javac/java/javadoc等待，设置好PATH变量后，就可以在任何目录下执行javac/java等工具了。

　　2. CLASSPATH环境变量。作用是指定类搜索路径，要使用已经编写好的类，前提当然是能够找到它们了，JVM就是通过CLASSPTH来寻找类的。我们需要把jdk安装目录下的lib子目录中的dt.jar和tools.jar设置到CLASSPATH中，当然，当前目录“.”也必须加入到该变量中。

　　3. JAVA_HOME环境变量。它指向jdk的安装目录，Eclipse/NetBeans/Tomcat等软件就是通过搜索JAVA_HOME变量来找到并使用安装好的jdk。