2.Hadoop集群搭建之Hadoop（包含HDFS和Yarn）安装

最新推荐文章于 2023-03-06 09:42:47 发布

weixin_30576827

最新推荐文章于 2023-03-06 09:42:47 发布

阅读量267

点赞数

文章标签：大数据运维开发工具

原文链接：http://www.cnblogs.com/liminghuang/p/9074319.html

版权

前期准备

下载JDK 6.0以上版本
下载Hadoop 2.4.1

1. 安装JDK

因为Hadoop是Java开发的，所以需要安装JDK，建议JDK 6.0以上。

解压JDK

tar -zxvf JDK压缩包名 -C 解压缩路径
例：tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app

配置环境变量

sudo vim /etc/profile
#根据上一步解压的路径，追加以下语句
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65 ###JDK目录
export PATH=$PATH:$JAVA_HOME/bin
    
#使配置生效
source /etc/profile

2. 安装Hadoop

解压Hadoop安装包

同JDK解压方式
修改六个配置文件

注：hadoop2.x的配置文件全部在$HADOOP_HOME/etc/hadoop目录下

1. 修改Hadoop环境变量配置文件`hadoop-env.sh`

vim hadoop-env.sh
#修改原文件中JAVA_HOME=${JAVA_HOME}为
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65

2. 修改核心（公共）配置文件`core-site.xml`

<configuration>
        <!-- 指定HDFS的nameservice为master-->
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
            </property>
                    
                    
        <!-- 指定缓存大小 -->
            <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
            </property>
                     
                     
        <!-- 指定hadoop临时目录 -->
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/hadoop-2.4.1/data</value>
            </property>
        <!-- hdfs-site.xml中的dfs.ha.automatic-failover.enabled为true时，此项必须配置，否则启动zkfc时会报错 -->
            <property>
                <name>ha.zookeeper.quorum</name>
                <value>192.168.1.201:2181,192.168.1.202:2181,192.168.1.203:2181</value>
            </property>
</configuration>

3. 修改HDFS相关配置文件`hdfs-site.xml`

<configuration>

    <!-- 指定HDFS副本的数量，一般为3份 -->
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>

    <!--指定HDFS的nameservice为master，需要和core-site.xml中的保持一致 -->
        <property>
            <name>dfs.nameservices</name>
            <value>master</value>
        </property>
        
    <!-- master下面有两个NameNode，分别是nn1，nn2 -->
        <property>
            <name>dfs.ha.namenodes.master</name>
            <value>nn1,nn2</value>
        </property>
        
    <!-- nn1的RPC通信地址 -->
        <property>
            <name>dfs.namenode.rpc-address.master.nn1</name>
            <value>192.168.1.201:9000</value>
        </property>

    <!-- nn1的http通信地址 -->
        <property>
            <name>dfs.namenode.http-address.master.nn1</name>
            <value>192.168.1.201:50070</value>
        </property>

    <!-- nn2的RPC通信地址 -->
        <property>
            <name>dfs.namenode.rpc-address.master.nn2</name>
            <value>192.168.1.202:9000</value>
        </property>
        
    <!-- nn2的http通信地址 -->
        <property>
            <name>dfs.namenode.http-address.master.nn2</name>
            <value>192.168.1.202:50070</value>
        </property>
    
    <!-- 指定NameNode的元数据在JournalNode上的存放位置。/ns1表示这个目录是给ns1这个nameservices用的-->
        <property>
            <name>dfs.namenode.shared.edits.dir</name>
            <value>qjournal://192.168.1.201:8485;192.168.1.202:8485;192.168.1.203:8485/ns1</value>
        </property>
    
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
        <property>
            <name>dfs.journalnode.edits.dir</name>
            <value>/home/hadoop/app/hadoop-2.4.1/journal</value>
        </property>
    
    <!-- 开启NameNode失败自动切换 配置是否启动故障恢复，配置此项为true的时候，core-site.xml必须配置ha.zookeeper.quorum，否则会报错-->
        <property>
            <name>dfs.ha.automatic-failover.enabled</name>
            <value>true</value>
        </property>
    
    <!-- 配置失败自动切换实现方式 -->
        <property>
            <name>dfs.client.failover.proxy.provider.ns1</name>
            <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        
    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制占用一行-->
        <property>
            <name>dfs.ha.fencing.methods</name>
                <value>
                    sshfence
                    shell(/bin/true)
                </value>
        </property>
        
    <!-- 使用sshfence隔离机制（解决脑裂）时需要ssh免登陆 -->
        <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/home/hadoop/.ssh/id_rsa</value>
        </property>
        
    <!-- 配置sshfence隔离机制超时时间 -->
        <property>
            <name>dfs.ha.fencing.ssh.connect-timeout</name>
            <value>30000</value>
        </property>
</configuration>

4. 修改mapreduce相关配置文件`mapred-site.xml`（将原`mapred-site.xml.template`使用`mv`命令重命名为`mapred-site.xml`）

<!-- 指定mapreduce运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

5. 修改Yarn相关配置文件`yarn-site.xml`

<configuration>
    <!-- 指定ResourceManager地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
        </property>
        
    <!-- 指定nodemanager启动时加载server的方式为shuffle server -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
</configuration>

6. 修改slaves文件

将文件内容修改为

slave1
slave2

为方便以后执行Hadoop命令，将Hadoop添加到环境变量中

sudo vim /etc/proflie
#根据自己的安装路径，在文件中追加
#Hadoop启动项均存放HADOOP_HOME/sbin目录下
    export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
    export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

要使配置文件生效使用命令source /etc/profile

格式化NameNode，直接使用命令hdfs namenode -format
启动Hadoop

首先，用命令start-dfs.sh启动HDFS，然后start-yarn.sh启动Yarn。

在启动过程中，Hadoop会根据配置文件去启动对应机器上的相关进程，这就需要进行远程登录，所以在以上过程中会数次要求输入用户登录密码，为免去这一麻烦可使用下一步骤配置ssh免密登录。

配置SSH免密登录

假设要从主机A登录到主机B上:（以下步骤前提条件默认已经开启ssh服务sudo service sshd restart）

修改主机A、B的hosts文件，将彼此IP和主机名的映射关系追加到各自的/etc/hosts文件中。
在主机A上生成密钥对
使用命令ssh-keygen -t rsa生成密钥对，生成过程中都使用默认选项，即遇到选项回车即可，无需进行操作。（默认生成的密钥对存放在主目录下的.ssh文件夹中，为隐藏文件夹，使用命令ll -a即可显示。）
.ssh文件夹中，后缀名为.pub的文件为生成的公钥。使用远程拷贝命令将公钥文件拷贝到主机B上。

scp 拷贝文件名 主机名:目标路径
     
##示例

scp id_rsa.pub slave1:/home/hadoop

在主机B上，将主机A的公钥追加到~/.ssh/authorized_keys文件中（可使用命令cat ../id_rsa.pub >> ./authorized_keys）。
若主机B上没有此文件，则可自行创建（使用命令touch authorized_keys），然后必须将该文件的权限修改为600（可使用命令chmod 600 authorized_keys），否则系统无法识别。
验证：在主机A上，使用命令ssh 主机B的主机名，若没有提示输入密码登录成功则SSH无密登陆配置成功。

将配置好的Hadoop拷贝到其他节点

 scp -r hadoop-2.4.1 slave1:/home/hadoop/app
 scp -r hadoop-2.4.1 slave2:/home/hadoop/app

转载于:https://www.cnblogs.com/liminghuang/p/9074319.html

weixin_30576827

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
2.Hadoop集群搭建之Hadoop（包含HDFS和Yarn）安装

前期准备下载JDK 6.0以上版本下载Hadoop 2.4.11. 安装JDK因为Hadoop是Java开发的，所以需要安装JDK，建议JDK 6.0以上。解压JDKtar -zxvf JDK压缩包名 -C 解压缩路径例：tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app配置环境变量sudo vim /e...
复制链接

扫一扫