Hadoop1.2.1开发环境搭建

  操作系统 Linux

Hadoop在设计的大部分是基于Linux开发的,所以我们这里首选Linux,我这里选择的是Ubuntu14.04.

  开发环境:JDK1.8 + Hadoop1.2.1 + Eclipse

整个Hadoop是用JAVA开发的,所以在安装Hadoop前首先要安装JDK,我用的是JDK1.8.

       这里的我用的Hadoop版本是1.2.1。由于在Linux下开发Java程序,eclipse最为方便。所以

开发工具选择eclipse

   

   一.安装JDK并配置环境变量

 1.解压 :  tar -zxvf  jdk-8u101-linux-i586.gz

         2 配置环境变量 

vim /etc/profile

export JAVA_HOME=/programfile/jdk1.8
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

二.设置SSH免密码登陆

配置SSH免密码登陆需要2步

1.生成公钥和私钥

Shell代码:

ssh-keygen -t rsa

默认在~/.ssh目录生成两个文件

id_rsa : 私钥

id_rsa.pub : 公钥

2.导入认证公钥文件，更改权限

2.1 本机免密码
Shell代码 
     cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  

2.2 导入免密码登陆的服务器

将公钥复制到服务器

Shell代码

     scp ~/.ssh/id_rsa.pub xxx@host:/home/xxx/id_rsa.pub  

         然后，将公钥导入到认证文件，这一步的操作在服务器上进行

Shell代码 

     cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 

  任意主机之间可以无密码登录。

  authorized_keys包含了所有主机的密钥，多主机这里可以通过 nfs 挂载同步文件authorized_keys，一改全改

三.安装Hadoop

(伪分布式模式的配置)

下载hadoop的tarball,然后解压到一个指定的目录

1.设置Hadoop环境变量

export HADOOP_HOME=/programfile/hadoop1.2.1

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

2.在hadoopx.x.x/conf对hadoop进行配置

hadoop-env.sh

export JAVA_HOME=/programfile/jdk1.8/

core-site.xml

<configuration>

<property>

<name>dfs.default.name</name>

<value>hdfs://localhost</value>

</property>

</configuration>

hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

mapred-site.xml

<configuration>

<property>

<name>mapred.job.traker</name>

<value>localhost:8021</value>

</property>

</configuration>

3.对hdfs文件系统进行格式化

hadoop namenode -format

4.启动hdfs和mapreduce的守护进程

start-all.sh