Hadoop 2.2.0 配置安装

最新推荐文章于 2022-10-31 17:49:45 发布

robinson111

最新推荐文章于 2022-10-31 17:49:45 发布

阅读量1.3k

点赞数 1

分类专栏： hadoop 文章标签： hadoop jdk centos

本文链接：https://blog.csdn.net/robinsonmhj/article/details/24889023

版权

hadoop 专栏收录该内容

10 篇文章 0 订阅

订阅专栏

环境：centos 5.5， Hadoop 2.2.0

第一步：安装JDK7

1.1 下载jdk7 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html，我用的jdk1.7.0_51

1.2 下载完成后解压到某个目录，这里举例解压在/home/software/下。

1.3 正常情况下，centos已经带了某个版本的jdk，但是可能不是jdk7. 这样的话，就需要用jdk7替换当前版本的. 最简单的方法，删除/usr/bin/java,

然后创建一个软连接到/home/software/jdk1.7.0_51/bin/java, 命令如下

rm -f /usr/bin/java

ln /usr/bin/java /home/software/jdk1.7.0_51/bin/java

1.4 检查java的版本是否是最新版本 java -version

1.5 把jdk和jre 放到path中去。命令如下

在/etc/profile的最前面加上如下语句（需要sudo权限）

export JAVA_HOME=/home/software/jdk1.7.0_51

export JRE_HOME=/home/software/jdk1.7.0_51/jre

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

修改完成之后，保存。

执行如下语句 source /etc/profile (目的是刷新环境变量)

1.6 检查java 版本是否是你安装的版本

第二步：配置hadoop用户

2.1 添加hadoop用户，命令如下

useradd hadoop

2.2 给新加的hadoop用户设置密码

passwd hadoop

2.3 让hadoop具有sudo权限(需要sudo权限)

编辑/etc/sudoers 找到##Allow root to run any commands anywhere,在这句话下面添加

hadoop ALL=(ALL) ALL

保存退出

第三步：配置ssh免密码登陆(注意：以下步骤都是用hadoop用户操作)

3.1 生成秘钥,并把秘钥添加到authorized_keys 中

# su - hadoop
$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
$ exit

3.2 修改/etc/ssh/sshd_config文件，允许无密码登陆

修改如下

3.3 验证是否可以登陆

ssh localhost

3.4 如果你需要配置slave机器，一定要把你的id_rsa.pub 中的内容添加到其他slave机器中的 ~/.ssh/authorized_keys 中。并确保修改了3.2中配置文件

第四步：配置hadoop（注意版本是2.2.0）

4.1 下载hadoop http://www.webhostingjams.com/mirror/apache/hadoop/common/hadoop-2.2.0/

4.2 解压到某个目录,本文在这里解压到/opt/目录下，命令如下

tar -zxvf hadoop-2.2.0.tar.gz

4.3 修改环境变量，把如下命令拷贝到/etc/profile的最前面

export HADOOP_HOME=/opt/hadoop

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

exportHADOOP_YARN_HOME=$HADOOP_HOME

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

exportHADOOP_YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

4.4 把如下命令添加到/opt/hadoop/libexec/hadoop-config.sh中

export JAVA_HOME=/home/software/jdk1.7.0_51

4.5 把如下命令添加到/opt/hadoop/etc/hadoop/yarn-env.sh 中

export JAVA_HOME=/home/software/jdk1.7.0_51
export HADOOP_HOME=/opt/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
exportHADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
exportHADOOP_YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

4.6 创建tmpfile

mkdir /opt/hadoop/tmp

4.7 用如下内容替换/opt/hadoop/etc/hadoop/core-site.xml中的内容

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>fs.default.name</name>

<value>hdfs://master:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/opt/haddop/tmp</value>

</property> </configuration>

4.8 用如下内容替换/opt/hadoop/etc/hadoop/hdfs-site.xml中的内容

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

         <property>
                <name>dfs.name.dir</name>
                <value>file:///home/hadoop/hadoopspace/hdfs/namenode</value>
        </property>

        <property>
                 <name>dfs.data.dir</name>
                <value>file:///home/hadoop/hadoopspace/hdfs/datanode</value>
        </property>

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>

</configuration>

4.9用如下内容替换/opt/hadoop/etc/hadoop/mapred-site.xml中的内容

<?xml version="1.0"?>

<name>mapreduce.framework.name</name>

</property>

</configuration>

4.10 用如下内容替换/opt/hadoop/etc/hadoop/yarn-site.xml中的内容

<?xml version="1.0"?>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>