Hadoop安装与配置

1. java安装与配置
    在oracle官网下载最新的Linux版本的jdk，然后利用ssh将jdk压缩包传输到待安装Linux系统的指定目录下（详见博客《windows利用ssh向Ubuntu传文件》），进入Linux系统切换到jdk压缩包所在目录，执行解压缩命令，将jdk安装在指定目录。命令如下：

 tar -zxvf jdk1.8.0_77 -C /usr/java

安装完成后需要配置java的环境变量，进入/etc目录，编辑profile文件，在该文件末尾添加以下内容：

export JAVA_HOME=/usr/java/jdk1.8.0_77
export PATH=$JAVA_HOME/bin:$PATH

如图所示：

保存退出，然后重新编译profile文件，命令如下：
source profile
最后输入命令：java -version检查java是否安装成功，如果安装成功屏幕会打印java版本信息，如图所示：

至此java的安装与配置工作全部结束。
2. hadoop安装与配置

• hadoop安装

  在Apache官网下载需要的hadoop安装包，利用ssh将hadoop安装包传输到Ubuntu指定目录下。将hadoop压缩包解压到指定目录，命令如下：

 tar -zxvf hadoop-2.6.3.tar.gz -C /usr/hadoop

• hadoop环境变量配置

  编辑profile文件，修改内容如下(path值需要和java_home合并，不能分开，否则会出现hadoop: command not found错误)：

 export HADOOP_HOME=/usr/hadoop/hadoop-2.6.3
 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH

保存退出后，重新编译profile文件，source profile
执行以下命令检测Hadoop是否安装成功：

hadoop version

执行hadoop命令时，如果有“Warning: $HADOOP_HOME is deprecated”警告信息，可以进入用户根目录下修改.bashrc文件，在末尾添加以下内容：

export HADOOP_HOME_WARN_SUPPRESS=1

• ssh无密码登录配置
  确保ssh服务正常启动，可以通过以下命令检查：

ps -e|grep ssh

利用hadoop用户登录，然后执行以下命令生成无密码的公钥和私钥：

ssh-keygen

一直回车，命令执行完毕，会在此用户根目录下生成.ssh目录，此目录下存在authorized_keys,id_rsa,id_rsa.pub。最后可以将机器A生成的公钥(id_rsa.pub)追加到机器B的authorized_keys文件中，则A就可以无密码登录机器B了，首先机器A中执行以下命令将公钥拷贝到机器B：

scp id_rsa.pub czliuming@192.168.30.129:/home/czliuming/.ssh/master_id_rsa.pub

然后在B机器执行以下命令追加：

cat master_id_rsa.pub >> authorized_keys

注意需要修改authorized_keys文件的权限，执行以下命令修改:

chmod 600 authorized_keys

最后测试ssh无密码登录是否成功，输入以下命令：

ssh localhsot

如果设置成功会出现如图所示的提示信息：

更多有关ssh的设置可以参照此博客。