Hadoop-2.4.1安装配置

 

1、下载地址

  http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.4.1/

 

linux命令下具体操作如下：

wget  http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.4.1/hadoop-2.4.1.tar.gz

2、安装配置参考文档

官网：

这是单机配置

http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/SingleCluster.html

 

博客：

http://blog.csdn.net/liangliangdetianxia/article/details/37716141

3、具体安装配置

1、下载

2、解压

 

root@i-5ygfjuik:~#tar zxvf hadoop-2.4.1.tar.gz.1

3、单机配置

在hadoop文件夹下

etc/hadoop/hadoop-env.sh

修改下面内容

        # set to theroot of your Java installation

         export JAVA_HOME=/usr/java/latest

 

       本例中用到export JAVA_HOME=/opt/jdk

               //hadoop的安装路径

 

 

       Hadoop 环境配置

      需要在linux系统下 找到profile文件进行配置  profile文件一般都在/etc/profile

      以本文为例具体配置如下：

 

      # vim /etc/profile

   

       export HADOOP_PREFIX=/root/hadoop-2.4.1

       export PATH=$PATH:$HADOOP_PREFIX/bin

 

         #Assuming your installation directory is /usr/local/hadoop

               exportHADOOP_PREFIX=/usr/local/hadoop

 

启动hadoop

  $ bin/hadoop

 

4、伪分布配置(配置不全)

 root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop# vimcore-site.xml

 

<configuration>

   <property>

       <name>fs.defaultFS</name>

       <value>hdfs://localhost:9000</value>

   </property>

</configuration>

 

root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#vim  hdfs-site.xml

 

<configuration>

   <property>

       <name>dfs.replication</name>

       <value>1</value>

   </property>

</configuration>

 

 

 

 

伪分布配置

需要进入hadoop安装目录下找到 hadoop目录下的etc/hadoop

--------------------------------------------------------

 

对etc/hadoop中的文件进行配置（相关文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml）

 

a.配制core-site.xml

 

<configuration>

   <property>

   <name>fs.default.name</name>

   <value>hdfs://localhost:9000</value>

  </property>

   <property>

   <name>dfs.namenode.name.dir</name>

    <value>file:/home/hadoop/hadoop-2.4.1/dfs/name</value>

  </property>

   <property>

   <name>dfs.datanode.data.dir</name>

   <value>file:/home/hadoop/hadoop-2.4.1/dfs/data</value>

  </property>

</configuration>

注意红色字体hadoop是我为配置hadoop2.4.1设立的账户名称，是系统在home目录下自动创建的，可以根据需要更改。

 

b.配制hdfs-site.xml

 

<configuration>

   <property>

   <name>dfs.replication</name>

    <!--系统默认文件保存3份，因伪分布模式，故改为1份-->

   <value>1</value>

  </property>

   <property>

   <name>dfs.namenode.name.dir</name>

   <value>/home/hadoop/hadoop-2.4.0/dfs/name</value>

  </property>

   <property>

   <name>dfs.datanode.data.dir</name>

   <value>/home/hadoop/hadoop-2.4.0/dfs/data</value>

  </property>

 </configuration>

c.配制mapred-site.xml（具体参考安装的版本）

 

<configuration>

   <property>

   <name>mapreduce.jobtracker.address</name>

   <value>localhost:9001</value>

  </property>

 </configuration>

d.配置yarn-site.xml

 

<configuration>

  <!-- Sitespecific YARN configuration properties -->

   <property>

    <name>mapreduce.framework.name</name>

   <value>yarn</value>

  </property>

   <property>

   <name>yarn.nodemanager.aux-services</name>

   <value>mapreduce_shuffle</value>

  </property>

 </configuration>

 

---------------------------------------------------

 

 

现在，检查SSh 能否自动登录（不需要密码）

root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#ssh localhost

 

如果不可以，就按下面设置

root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

 

 

root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

 

 

 

执行

1、格式化

 

root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs  namenode  –format

必须这样执行，不能进入bin 在执行

2、开始NameNode 和DataNode的守护进程

 

root@i-5ygfjuik:~/hadoop-2.4.1# sbin/start-dfs.sh

3、浏览NameNode的界面  默认情况下是可以的

 

 

 

4、使HDFS目录能够执行MAPReduce的工作

root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs  dfs –mkdir   /user

root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs  dfs –mkdir  /user/username

 

 

 

5、复制输入文件到这个分布式系统

 

（还没跑通）

root@i-5ygfjuik:~/hadoop-2.4.1# bin/hdfs dfs -putetc/hadoop input

6、运行一些提供的例子

 

 

root@i-5ygfjuik:~/hadoop-2.4.1# bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar grep input output'dfs[a-z.]+'

 

7、检查输出结果

把输出文件从分布式文件系统拷贝到本地文件系统，以便研究结果

                                              

root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs dfs -get output output

 

 

root@i-5ygfjuik:~/hadoop-2.4.1#cat output/*

 

在分布式系统中查看结果

 

 

root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs dfs -cat output/*  

 

 

8、当你完成后，停止守护进程

 

root@i-5ygfjuik:~/hadoop-2.4.1#sbin/stop-dfs.sh