ubuntu下hadoop的安装配置

本文为我按照http://www.cnblogs.com/tippoint/archive/2012/10/23/2735532.html配置安装hadoop时，对自己操作的一个记录，一是为加强记忆，二是在配置JDK时因为公司网速的限制与原文略有不同，希望将自己的方法记录下来，便于以后回顾。

如果你恰好在阅读此文，希望你能去原文观看，我只是个接触ubuntu才2天，今天才知道打开终端的快捷键是Ctrl+Alt+T的小白

一、创建hadoop组及用户

1.创建hadoop用户组及用户

sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop

2.给hadoop用户赋予root权限
修改 /etc/sudoers 文件

sudo gedit /etc/sudoers

在root   ALL=(ALL:ALL)   ALL下添加hadoop   ALL=(ALL:ALL)  ALL

二、安装JDK 
先更新源

sudo apt-get update

在终端输入

sudo apt-get install sun-java*

从 http://www.oracle.com/technetwork/java/javasebusiness/downloads/java-archive-downloads-javase6-419409.html#jdk-6u41-oth-JPR 下载JDK、JRE

firefox默认下载到（***为你的用户名），下面先把下载下来的包移动到/usr/lib/java

sudo cp /home/quansq/Downloads/jdk-6u41-linux-i586.bin /usr/lib/java
sudo cp /home/quansq/Downloads/jre-6u41-linux-i586.bin /usr/lib/java

增加权限

cd /usr/lib/java

sudo chmod u+x ./jre-6u41-linux-i586.bin

sudo chmod u+x ./jdk-6u41-linux-i586.bin

安装jdk、jre

sudo ./jdk-6u41-linux-i586.bin
sudo ./jre-6u41-linux-i586.bin

配置java环境变量

sudo gedit /etc/environment

在path的引号里添加:${JAVA_HOME}/bin，并在最后添加两行

JAVA_HOME=/usr/lib/java/jdk1.6.0_41

CLASSPATH=".:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar"

让环境变量配置生效

source /etc/environment

三、安装ssh服务

sudo apt-get install ssh openssh-server

四、建立ssh无密码登录本机

将用户切换成hadoop

su - hadoop

创建ssh-key，，这里我们采用rsa方式

ssh-keygen -t rsa -P ""

进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中

cd ~/.ssh
cat id_rsa.pub >> authorized_keys

登录localhost

ssh localhost

退出

exit

五、安装hadoop

1. 假设hadoop-1.0.4.tar.gz在桌面，将它复制到安装目录 /usr/local/下；

sudo cp hadoop-1.0.4.tar.gz /usr/local/

2. 解压hadoop-1.0.4.tar.gz；

cd /usr/local
sudo chmod u+x hadoop-1.0.4.tar.gz
sudo tar -zxf hadoop-1.0.4.tar.gz

3. 将解压出的文件夹改名为hadoop;

sudo mv hadoop-1.0.4 hadoop

4. 将该hadoop文件夹的属主用户设为hadoop，

sudo chown -R hadoop:hadoop hadoop

5. 打开hadoop/conf/hadoop-env.sh文件;

sudo gedit hadoop/conf/hadoop-env.sh

6. 配置conf/hadoop-env.sh（找到#export JAVA_HOME=...,去掉#，然后加上本机jdk的路径）;

export JAVA_HOME=/usr/lib/java/jdk1.6.0_41

7. 打开conf/core-site.xml文件;

sudo gedit hadoop/conf/core-site.xml

编辑如下：property后面需要手工敲

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
                                                                                                               
<!-- Put site-specific property overrides in this file. -->
                                                                                                               
<configuration> 
<property>   
  <name>fs.default.name</name>   
  <value>hdfs://localhost:9000</value>    
 </property>   
</configuration>

8. 打开conf/mapred-site.xml文件;

sudo gedit hadoop/conf/mapred-site.xml

编辑如下property后面需要手工敲：

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
                                                                                                            
<!-- Put site-specific property overrides in this file. -->
                                                                                                            
    <configuration>   
     <property>    
      <name>mapred.job.tracker</name>   
      <value>localhost:9001</value>    
     </property>   
    </configuration>

9. 打开conf/hdfs-site.xml文件;

sudo gedit hadoop/conf/hdfs-site.xml

编辑如下：

<configuration> 
<property> 
<name>dfs.name.dir</name> 
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value> 
</property> 
<property> 
<name>dfs.data.dir</name> 
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value> 
</property> 
<property> 
<name>dfs.replication</name> 
<value>2</value> 
</property> 
</configuration>

10. 打开conf/masters文件，添加作为secondarynamenode的主机名，作为单机版环境，这里只需填写 localhost 就Ok了。

sudo gedit hadoop/conf/masters

11. 打开conf/slaves文件，添加作为slave的主机名，一行一个。作为单机版，这里也只需填写 localhost就Ok了。

sudo gedit hadoop/conf/slaves

六、单机运行hadoop

格式化

cd /usr/local/hadoop/
bin/hadoop namenode -format

启动hadoop

bin/start-all.sh

七、启动浏览器，查看服务是否正常

http://localhost:50030/         hadoop管理界面

http://localhost:50060/        hadoop task tracker 状态

http://localhost:50070/         hadoop DFS 状态