hadoop安装配置

hadoop安装配置（来自http://naojuan.com/review/20）

一、准备工作：

软件：VMware虚拟机软件，linux系统为：ubuntu-10.10-desktop-i386。

二、环境配置

（一）VMware安装略过

（二）linux安装：

 

 

 

 

 

 

 

为root账号创建密码

打开终端

 

输入命令：sudo passwd root

接下来换提示操作即可

输入命令：su  root 切换到root账号进行接下来的操作，可以省却很多繁琐的权限问题

 

我们还是切换到root登录系统吧

 

切换了之后结果发现屏幕分辨率较低，可按以下步骤进行操作：

找到boot/grub/grub.cfg（如果没有找到这个文件，那就下载我上传的附件直接复制进去） 然后修改grub.cfg文件里面找到 set gfxmode=1366×768  原来应该是 set gfxmode=800×600 这理改成你想要的就可以了 保存，重启 ok 先窗口化，在双击最大化，就实现全屏了。

 

下载JAVA SDK，可以先在windows下用迅雷下载，会快很多，再拷进linux里面，当然也可以在linux里下载，不过速度会慢很多 命令: wget -c

http://download.oracle.com/otn-pub/java/jdk/6u25-b06/jdk-6u25-linux-i586.bin -c是用来断点续传的。

 

下载完成，现在把文件拷到linux桌面上，打开终端

 

输入命令： cp /root/Desktop/jdk-6u25-linux-i586.bin /usr/local

输入命令：cd  /usr/local

./ jdk-6u25-linux-i586.bin 安装文件

输入命令：gedit /etc/profile

在文件最后加入如下代码：

#set JDK environment

export JAVA_HOME=/usr/local/jdk1.6.0_22

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JRE_HOME=$JAVA_HOME/jre

执行如下命令使环境变量生效：

$ source /etc/profile

检查环境变量设置是否正确：

$ java -version

输出如下：

java version “1.6.0_25″

Java(TM) SE Runtime Environment (build 1.6.0_25-b06)

Java HotSpot(TM) Client VM (build 20.0-b11, mixed mode, sharing)

表示JDK已经成功安装

安装Hadoop

下载hadoop

下载完之后，命令行输入：tar -xzvf tar -xzvf hadoop-0.20.203.0rc1.tar.gz进行解压

重命名为hadoop

cd hadoop

cd conf/core-site

修改 conf/core-site.xml:

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

gedit conf/hdfs-site.xml

 

修改conf/hdfs-site.xml:

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

gedit conf/mapred-site.xml

 

修改conf/mapred-site.xml:

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

hadoop运行需要JDK支持，因此需要配置Java的安装路径

gedit conf/hadoop-env.sh

加入下面一行（由JDK具体安装的路径决定）：

export JAVA_HOME=/usr/local/jdk1.6.0_25

创建一个新的分布式文件系统：

bin/hadoop namenode -format

 

bin/start-all.sh启动hadoop

结果没启动成功，看了下日志，发现出现了connect to host localhost port 22，原来是ssh没有装

 

apt-get install openssh-server 安装ssh

建立 SSH KEY： 

$ ssh-keygen -t rsa -P “” （注意不要多加空格或缺少空格）

中途需要安装者选择保存密钥的文件，按回车使用默认的文件就可以了：

Enter file in which to save the key (/root/.ssh/id_rsa):（按回车）

启用SSH KEY:

$ cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

/etc/init.d/ssh reload

reload ssh

ssh localhost

再次运行hadoop

bin/start-all.sh

发现如下错误 Unrecognized option: -jvm

可以根据这个链接进行修改

再次bin/start-all.sh

如果启动不起来 请先 bin/hadoop -namenode format

再bin/stop-all.sh,再bn/start-all.sh

接着访问http://localhost:50030,http://localhost:50070，如果成功打开了，说明安装成功了

 

接着安装eclipse

输入命令 apt-get install eclipse

安装完成之后

输入cp /usr/local/hadoop/contrib/eclipse-plugin/hadoop-eclipse-plugin-0.20.203.0.jar /usr/lib/eclipse/plugins

 

找到/usr/lib/eclipse 打开eclipse

windows->preferences

 

选择hadoop安装路径,选择好之后点击确定

 

 

 

 

 

 

配置后结果发现出错

发现没配置好

在终端中输入

$ gedit /etc/profile

修改运行环境，在文件最尾添加如下内容：

export HADOOP_HOME=/usr/local/hadoop (此处即为hadoop的安装目录)
export PATH=$PATH:#HADOOP_HOME/bin

接下来又会报出另外一个错误，请参照这个链接