hadoop2.4安装部署——亲手测试通过



机器与环境 192.168.100.150 redhat，jdk 1.6.0_30 

1、linux rh 下安装hadoop
 1）下载：http://mirror.esocc.com/apache/hadoop/common/current/hadoop-2.4.0.tar.gz
 2）进入/home/kris/ 解压文件到当前目录：tar xzvf hadoop-2.4.0.tar.gz -C ./
 3）配制环境变量（由于之前已经安装了jdk1.6.0_30）,这里只配制hadoop变量
  export HADOOP_PREFIX=/home/kris/hadoop-2.4.0
  export PATH=$JAVA_HOME:$JAVA_HOME/bin:$HADOOP_PREFIX?BIN:$PATH
  export HADOOP_PREFIX PATH CLASSPATH
 4）进入hadoop2.4.0文件夹，配置etc/hadoop中的文件,添加：
  export JAVA_HOME=/usr/java/jdk1.6.0
  export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
  export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
 5）配制core-site.xml
  <configuration>
   <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
   </property>
   <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/kris/hadoop-2.4.0/dfs/name</value>
   </property>
   <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/wbq/hadoop-2.4.0/dfs/data</value>
   </property>
  </configuration>
 6）配制hdfs-site.xml，
  <configuration>
   <property>
    <name>dfs.replication</name>
    <!--系统默认文件保存3份，因伪分布模式，故改为1份-->
    <value>1</value>
   </property>
   <property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/kris/hadoop-2.4.0/dfs/name</value>
   </property>
   <property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/kris/hadoop-2.4.0/dfs/data</value>
   </property>
  </configuration>
 7）配制mapred-site.xml
  <configuration>
   <property>
    <name>mapreduce.jobtracker.address</name>
    <value>localhost:9001</value>
   </property>
  </configuration>
 8）配置yarn-site.xml
  <configuration>

  <!-- Site specific YARN configuration properties -->
   <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
   </property>
   <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
   </property>
  </configuration>
 9）ssh免密码登陆设置。--ssh链接是需要密码认证的，可以通过添加系统认证（即公钥-私钥）的修改，修改后系统间切换可以避免密码输入和ssh认证。
  1- 修改文件：vi /etc/ssh/sshd_config
   RSAAuthentication yes         开启RSA加密方式
   PubkeyAuthentication yes      开启公钥认证
   AuthorizedKeysFile .ssh/authorized_keys      公钥存放位置

   PasswordAuthentication no     拒绝使用密码登录

   GSSAPIAuthentication no       防止登录慢，以及报错问题

   ClientAliveInterval 300                      300秒超时自动退出
   ClientAliveCountMax 10                   允许SSH远程连接的最大数

  
  在root根目录下，ssh-keygen -t rsa -P '' 回车，然后输入密码，即可完成ssh协议下的安全通信。
2、运行hadoop
 1）到hadoop2.4.0目录下./bin/hadoop namenode –format格式化结点信息
 2）sbin/start-all.sh
 3）浏览器下http://localhost:50070 查看hdfs的页面
 4）http://localhost:8088 hadoop进程管理页面