虚拟机Hadoop实战（二）详细步骤

　　装Hadoop是个稍微复杂些的过程，加上Hadoop出于安全性的考虑，使用了SSH认证，更是一个比一般软件繁琐的事情。Hadoop基于Java，使用前得安装Java虚拟机。而Hadoop本身并不知道系统配置的Java虚拟机在哪儿，即使在etc/profile文件中设置了Java的环境变量，也需要在Hadoop自身的配置文件hadoop-env.sh（或者说shell程序里面）重新配置一遍。

　　第二个大头就是安装并配置ssh。这里需要补习一些ssh知识，ssh通过公钥——私钥模式确保安全。公钥其实就相当于一个保险箱，私钥才是真正的钥匙。我把保险箱发给你，你把重要的文件装在箱子里合上。这是个自动锁的保险箱，合上并不需要钥匙，但打开需要。于是你就可以把装着你私密信息的保险箱安全地交给快递员了。ssh认证的相关信息、密钥、认证文件都保存在/home/你的用户名/.ssh文件夹下。文件夹的名字前面有个.说明是个隐藏文件夹，通过普通的ls命令是无法搜索到的。每当有ssh请求发过来，系统都会以对方请求的用户，到该用户下的.ssh文件夹里查看是否有相应的“保险箱”以及“钥匙”。有的话，才能把保险箱发过去，让用户把登录密码装到保险箱里发过来，然后我打开箱子看看对方请求的用户名和密码跟我本机上存储和设定的是否匹配。如果不匹配，就拒绝请求。如果匹配，就接受对方的登录。

——————————————————————————————————————————

所需软件列表：

一、VMware® Workstation 12 Pro

二、Java Development Kits 8（JDK1.8.0_112）

三、Hadoop 2.7.3

四、Putty(包含putty与pscp)

五、OpenSSH（apt-get install openssh-server，忘记装会导致win下putty无法访问linux）

　　本教程基于已经安装好的linux虚拟机。不建议选择CentOS版本，因为防火墙权限太复杂，新手容易出错。本文使用的Linux 是Ubuntu Server LTS。这里用的JDK是Oracle版本的，而非OpenJDK。

【步骤一】安装OpenSSH的Server

【原因】为了能够让外部电脑通过SSH安全模式访问Linux，为下一步使用win下putty工具传输文件作铺垫。

Linux命令$    apt-get install openssh-server

【步骤二】 下载putty（需要包含 pscp.exe）

【原因】使用pscp命令传输文件到linux系统下

打开预装好OpenSSH的Linux系统虚拟机，在Windows下打开cmd（命令提示符）。

（由于目前只是简单下载了pscp，并没有在win下设置环境变量，所以并不是处处都能运行pscp的。一个比较方便的办法是，把pscp.exe文件拷贝到需要传输的文件所在的目录下，然后在cmd里进入到这个目录）输入如下命令：

Windows命令>   pscp hadoop-2.7.3.tar.gz master2@10.100.78.101:/home/master2

（传输当前目录下的hadoop-2.7.3.tar.gz文件，以master2用户登录，传输文件到地址为10.100.78.101的Linux环境下的 根目录/home/master2 文件夹中）需要安装的JDK同样通过pscp传输到Linux下

【步骤三】修改Linux下的Java环境变量

【原因】使得系统能够全局使用java工具，尤其是提供给Hadoop平台一个Java环境

使用putty工具传输进linux系统的JDK，解压后的目录是 /home/master/jdk1.8.0_112/，当然用户也可以自定义其他目录。在Linux系统下，运用vi编辑器修改/etc/profile文件，在profile文件末尾添加如下export命令。

Linux命令$  vi /etc/profile

export JAVA_HOME=/home/master/jdk1.8.0_112/