Hadoop的配置及运行WordCount



一、环境：

计算机Fedora 20、jdk1.7.0_60、Hadoop-2.2.0

二、步骤：

1 JDK及SSH安装配置：

1.1卸载Fedora自带的OpenJDK，安装Oracle的JDK

*由于Hadoop，无法使用OpenJDK，所以的下载安装Oracle的JDK。

 

1.1.1、以下为卸载再带的OpenJDK：

[master@localhost~]$ rpm -qa|grep jdk

java-1.7.0-openjdk-headless-1.7.0.60-2.4.7.4.fc20.i686

jdk-1.7.0_60-fcs.i586

java-1.7.0-openjdk-1.7.0.60-2.4.7.4.fc20.i686

[master@localhost~]$ yum -y remove java-1.7.0-openjdk-1.7.0.60-2.4.7.4.fc20.i686

然后到http://www.oracle.com/technetwork/java/javase/downloads/index.html下载jdk，可以下载rpm格式的安装包或解压版的。rpm版本的下载完毕后可以运行安装，一般会自动安装在/usr/java/的路径下面。接下来就配置jdk的环境变量了。

[master@localhost~]$ sudo vi /etc/profile

 

1.1.2、进入到系统的环境变量配置文件，加入以下内容：（按i进行编辑，编辑完毕按ESC,输入:wq，回车即保存退出）

#Java &Hadoop Environment

exportJAVA_HOME=/usr/java/jdk1.7.0_60

exportPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

exportHADOOP_HOME=/home/master/hadoop-2.2.0

exportPATH=$HADOOP_HOME/bin

 

截图如下：Java环境变量配置

1.2配置SSH

搭建hadoop分布式集群平台，为了实现通讯之间的可靠，防止远程管理过程中的信息泄露问题。配置ssh（安全外壳协议）是必不可少的步骤，以下为ssh的配置过程：

 

1.2.1、由于Fedora自带安装了ssh，不过默认没有开启。下面查看系统的ssh：

如上图已经安装了ssh，下面我们通过sudoservice sshd start打开ssh服务，service sshd status未查看ssh的状态。

[master@localhost~]$ sudo service sshd start

Redirectingto /bin/systemctl start sshd.service

[master@localhost~]$ service sshd status

1.2.2、如上开启之后我们就要配置localhost：如果还没有密钥公钥对生成，则先用ssh-keygen指令生成一个密钥对。

[master@localhost~]$ cd .ssh

[master@localhost.ssh]$ ls

[master@localhost.ssh]$ ssh-keygen -t rsa

由于实验平台的搭建，需要简单配置即可，出现的不用输入什么，直接三个回车就行了，就可以生成不需要密码的密钥公钥对了，从而实现自动访问。

如下的生成内容：

1.2.3、利用cp id_rsa.pub authorized_keys（把公钥复制一份，并改名为authorized_keys，这步执行完，应该sshlocalhost可以无密码登录本机了，可能第一次要密码），这样可以将authorized_keys发给其他主机，以便认证登陆了。

[master@localhost.ssh]$ ls

id_rsa id_rsa.pub

[master@localhost.ssh]$ cp id_rsa.pub authorized_keys

[master@localhost.ssh]$ ls

auth