搭建hadoop2.6集群

最新推荐文章于 2022-11-27 13:56:40 发布
最新推荐文章于 2022-11-27 13:56:40 发布
阅读量531 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luyaoguimeng/article/details/50706533
版权

1．下载解压hadoop2.6

tar  -zxvf  hadoop-2.6.0.tar.gz

2．修改hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.7.0_80
export  HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/hbase-0.98.15/lib/*

3．修改yarn-env.sh、

export JAVA_HOME=/usr/local/jdk1.7.0_80
export YARN_LOG_DIR=/usr/local/hadoop-2.6.0/logs/hadoop

4．修改core-site.xml

<configuration>
        <!-- 指定hdfs的nameservice为cluster-->
    <property>
                <name>fs.defaultFS</name>
                <value>hdfs://cluster</value>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
        <!-- 指定hadoop临时目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop-2.6.0/tmp</value>
        </property>
        <!--指定可以在任何IP访问-->
        <property>
                <name>hadoop.proxyuser.hduser.hosts</name>
                <value>*</value>
        </property>
        <!--指定所有用户可以访问-->
        <property>
                <name>hadoop.proxyuser.hduser.groups</name>
                <value>*</value>
        </property>
        <!-- 指定zookeeper地址 -->
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>node01:2181,node02:2181,node03:2181</value>
        </property>
        <property>    
                <name>fs.trash.interval</name>
                <value>1440</value>
                <description>save one day(1440 min---60*24)</description>
        </property>
</configuration>

4.修改hdfs-site.xml

<configuration>
        <!--一个Hadoop HDFS Datanode 有一个同时处理文件的上限-->
        <property>
                <name>dfs.datanode.max.xcievers</name>
                <value>4096</value>
        </property>
        <!--指定hdfs的nameservice为cluster,需要和core-site.xml中的保持一致 -->
        <property>
                <name>dfs.nameservices</name>
                <value>cluster</value>
        </property>
        <!-- cluster下面有两个NameNode，分别是node01，node02-->
        <property>
                <name>dfs.ha.namenodes.cluster</name>
                <value>node01,node02</value>
        </property>
        <!-- node01的RPC通信地址 -->
        <property>
                <name>dfs.namenode.rpc-address.cluster.node01</name>
                <value>node01:9000</value>
        </property>
        <!-- node01的http通信地址 -->
        <property>
                <name>dfs.namenode.http-address.cluster.node01</name>
                <value>node01:50070</value>
        </property>
        <!--node02的RPC通信地址 -->
        <property>
                <name>dfs.namenode.rpc-address.cluster.node02</name>
                <value>node02:9000</value>
        </property>
        <!--node02的http通信地址 -->
        <property>
                <name>dfs.namenode.http-address.cluster.node02</name>
                <value>node02:50070</value>
        </property>
        <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://node01:8485;node02:8485;node03:8485/cluster</value>
        </property>
        <!--NameNode的元数据在JournalNode上的存放位置-->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/usr/local/hadoop-2.6.0/tmp/journal</value>
        </property>
        <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制占用一行-->
        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>sshfence</value>
        </property>
        <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/root/.ssh/id_rsa</value>
        </property>
        <!-- 配置sshfence隔离机制超时时间 -->
        <property>
                <name>dfs.ha.fencing.ssh.connect-timeout</name>
                <value>30000</value>
        </property>
        <!--指定支持高可用自动切换机制-->
        <property>
                <name>dfs.ha.automatic-failover.enabled.cluster</name>
                <value>true</value>
        </property>
        <!-- 配置失败自动切换实现方式 -->
        <property>
                <name>dfs.client.failover.proxy.provider.cluster</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        <!--指定namenode名称空间的存储地址-->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/hadoop-2.6.0/tmp/dfs/name</value>
        </property>
        <!--指定datanode数据存储地址-->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/local/hadoop-2.6.0/tmp/dfs/data</value>
        </property>
        <!--指定数据冗余份数-->
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <!--指定可以通过web访问hdfs目录-->
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>
        <!--保证数据恢复 -->
        <property>
                <name>dfs.journalnode.http-address</name>
                <value>0.0.0.0:8480</value>
        </property>
        <property>
                <name>dfs.journalnode.rpc-address</name>
                <value>0.0.0.0:8485</value>
        </property>
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>node01:2181,node02:2181,node03:2181</value>
        </property>
        <!--关闭hdfs权限验证-->
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

配置YARN

将mapred-site.xml.templat重命名成mapred-site.xml

5．修改mapred-site.xml

<configuration>
        <!-- 指定mr框架为yarn方式 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
                <!-- 配置 MapReduce JobHistory Server 地址 ，默认端口10020 -->
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>node01:10020</value>
        </property>
        <!-- 配置 MapReduce JobHistory Server web ui 地址， 默认端口19888 -->
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>node01:19888</value>
        </property>
</configuration>

6．修改yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <!--rm失联后重新链接的时间-->
        <property>
                <name>yarn.resourcemanager.connect.retry-interval.ms</name>
                <value>2000</value>
        </property>
        <!--开启resource manager HA,默认为false-->
        <property>
                <name>yarn.resourcemanager.ha.enabled</name>
                <value>true</value>
        </property>
        <!--配置resource manager -->
        <property>
                <name>yarn.resourcemanager.ha.rm-ids</name>
                <value>rm1,rm2</value>
        </property>
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>node01:2181,node02:2181,node03:2181</value>
        </property>
        <!--开启故障自动切换-->
        <property>
                <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname.rm1</name>
                <value>node01</value>
        </property>          
        <property>
                <name>yarn.resourcemanager.hostname.rm2</name>
                <value>node02</value>
        </property>
        <!--在namenode1上配置rm1,在namenode2上配置rm2,注意：一般都喜欢把配置好的文件远程复制到其它机器上，但这个在YARN的另一个机器上一定要修改-->
        <property>
                <name>yarn.resourcemanager.ha.id</name>
                <value>rm1</value>
                <description>If we want to launch more than one RM in single node, we need this configuration</description>
        </property>
        <!--开启自动恢复功能-->
        <property>
                <name>yarn.resourcemanager.recovery.enabled</name>
                <value>true</value>
        </property>
        <!--配置与zookeeper的连接地址-->
        <property>
                <name>yarn.resourcemanager.zk-state-store.address</name>
                <value>node01:2181,node02:2181,node03:2181</value>
        </property>
        <property>
                <name>yarn.resourcemanager.store.class</name>
                <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
        </property>
        <property>
                <name>yarn.resourcemanager.zk-address</name>
                <value>node01:2181,node02:2181,node03:2181</value>
        </property>
        <property>
                <name>yarn.resourcemanager.cluster-id</name>
        <value>RM_HA_ID</value>
        </property>
        <!--schelduler失联等待连接时间-->
        <property>
                <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>
                <value>5000</value>
        </property>
        <!--配置rm1-->
        <property>
                <name>yarn.resourcemanager.address.rm1</name>
                <value>node01:8132</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address.rm1</name>
                <value>node01:8130</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address.rm1</name>
                <value>node01:8188</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
                <value>node01:8131</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address.rm1</name>
                <value>node01:8033</value>
        </property>
        <property>
                <name>yarn.resourcemanager.ha.admin.address.rm1</name>
                <value>node01:23142</value>
        </property>
        <!--配置rm2-->
        <property>
                <name>yarn.resourcemanager.address.rm2</name>
                <value>node02:8132</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address.rm2</name>
                <value>node02:8130</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address.rm2</name>
                <value>node02:8188</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
                <value>node02:8131</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>node02:8033</value>
        </property>
        <property>
                <name>yarn.resourcemanager.ha.admin.address.rm2</name>
                <value>node02:23142</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.nodemanager.local-dirs</name>
                <value>/usr/local/hadoop-2.6.0/tmp/yarn/local</value>
        </property>
        <property>
                <name>yarn.nodemanager.log-dirs</name>
                <value>/usr/local/hadoop-2.6.0/tmp/log/hadoop</value>
        </property>
        <property>
                <name>mapreduce.shuffle.port</name>
                <value>23080</value>
        </property>
        <!--故障处理类-->
        <property>
                <name>yarn.client.failover-proxy-provider</name>
                <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
        </property>
        <property>
                <name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name>
                <value>/yarn-leader-election</value>
                <description>Optional setting. The default value is /yarn-leader-election</description>
        </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
</configuration>

7．修改slaves
(slaves是指定子节点的位置， slaves文件指定的是datanode的位置， slaves文件指定的是nodemanager的位置)

node01
node02
node03

8．复制hadoop文件夹到其他节点
将node01节点上的hadoop 文件夹复制到其他节点

scp -rq /usr/local/hadoop-2.6.0/  root@node02:/usr/local/
scp -rq /usr/local/hadoop-2.6.0/  root@node03:/usr/local/

格式化hdfs、namenode启动集群
1．格式化ZK集群：

hadoop/bin/hdfs zkfc –formatZK

2．启动journalnode集群
在node01、node02、node03节点分别执行

hadoop/sbin/hadoop-daemon.sh start journalnode

3．格式化namenode、启动namenode
在node01上执行

hadoop/bin/hdfs namenode -format

在node01上启动

hadoop/sbin/hadoop-daemon.sh start namenode

在node02上执行

hadoop/bin/hdfs namenode -bootstrapStandby

在node02上启动

hadoop/sbin/hadoop-daemon.sh start namenode

4．启动datanode
在node01上执行

hadoop/sbin/hadoop-daemons.sh start datanode

5．启动ZKFC

sbin/hadoop-daemon.sh start zkfc

6．启动Yarn
执行命令

/sbin/start-yarn.sh

在node02启动yarn（HA模式启动不了需要单独启动）

yarn-daemon.sh start resourcemanager

7．启动JobHistoryServer
在node01节点执行

mr-jobhistory-daemon.sh start historyserver

yarn的管理地址 http://192.168..:8188/cluster

luyaoguimeng
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop2.6.1全分布式集群搭建
qq_28286027的博客
04-21 651
一：master配置 1.新建tmp目录 2.master,slave配置 Master： Slave： 3.core-site.xml配置 4.mapred-site.xml配置 5.hdfs-site.xml配置 6.hadoop-env.sh配置 7.本地网络配置： Vim /etc/hosts 配置...
hadoop2.6.0集群搭建（个人笔记，亲测有效）
06-07
hadoop2.6.0完全分布式搭建
hadoop（2.6）集群搭建
yunweimao的博客
08-30 141
软件包下载http://mirrors.hust.edu.cn/apache/hadoop/common/Hadoop是什么Hadoop是Lucene创始人Doug Cutting，根据...
Hadoop2.6简单集群搭建
海边看花开的博客
03-06 132
1 环境准备 centos7 安装包： jdk1.7.0_45.tgz, hadoop-2.6.1.tar.gz 三台机器的IP: master: 192.168.37.100 slave1: 192.168.37.101 slave2: 192.168.37.102 2 关闭防火墙 检查防火墙状态： systemctl status firewalld.service 关闭防火墙： ...
大数据之快速搭建hadoop2.6集群指南
最新发布
bobo now~
11-27 168
大数据之快速搭建hadoop2.6集群指南
Hadoop2.6.4集群环境搭建全记录
程序员之怒
03-22 4572
折腾了两天，总算把环境搭起来了，由于很多资料都是基于Hadoop1.0的，而目前的2.0以上的Hadoop架构发生变化，因此一些老旧的资料就已经不再适用，而我又实在是不喜欢看官方文档，所以整理出这篇攻略给同样不喜欢看英文文档的你（如果你喜欢看还会百度中文的资料么；-）目标：组成一个由四台电脑构成的简单集群，其中一台为master，余下三台为slave。环境：Ubuntu 14.04 LTS 64bi
hadoop2.6集群搭建手册
06-23
在IT行业中，Hadoop是一个广泛使用的开源框架，...在这个过程中，文档如《hadoop2.6集群搭建手册》是不可或缺的指南，它详细解释了每个步骤并提供了配置示例，对于初学者和经验丰富的管理员来说都是宝贵的参考资料。
hadoop2.6_windows_x64.zip
10-22
Hive1.2.2版本与Hadoop2.6是兼容的，可以在同一个集群上部署。安装Hive前，需要确保Hadoop已经正常运行。然后下载Hive的Windows版本，配置HIVE_HOME环境变量，并修改hive-site.xml配置文件，指定Hive的metastore...
Hadoop2.6集群环境搭建（HDFS HA+YARN）
02-12
在搭建Hadoop 2.6集群环境时，我们需要关注几个关键组件：HDFS（Hadoop Distributed File System）的高可用性（HA）以及YARN（Yet Another Resource Negotiator）。这个过程涉及多台虚拟机的配置，包括安装操作系统...
hadoop2.6 hadoop.dll+winutils.exe
12-15
通过以上步骤，用户可以在Windows上搭建并运行Hadoop 2.6集群，利用`hadoop.dll`和`winutils.exe`实现Hadoop在非Linux环境下的功能。不过，值得注意的是，尽管可以这样做，但在生产环境中，由于Windows的兼容性和...
Hadoop2.6.5集群搭建
SRE实战派
04-12 294
搭建虚拟机 以下搭建所需环境和资源包为 VMware CentOS 7 Hadoop2.6.5.tar.gz JDK1.8+ 使用虚拟机安装3个CentOS7的主机模拟服务器，分别为master、slave1、slave2 主节点需要额外的内存资源开销，所以在生产环境中给master节点多分配内存资源 从节点需要额外的磁盘资源，所以在生产环境给每个slave节点多分配磁盘空间 如果通过克隆虚拟机等设置的虚拟机需要配置ip和mac地址，使mac地址不同（可以通过删除当前网卡并添加新网卡来完成） 网卡名
Hadoop大数据开发基础课后答案
BIPT919的博客
06-10 1万+
Hadoop大数据开发基础课后答案(仅供参考)
Linux上传本地文件到Hadoop的HDFS文件系统
热门推荐
zhangvalue的博客
06-12 9万+
记录如何将本地文件上传至HDFS中 前提是已经启动了hadoop成功（nodedate都成功启动） ①先切换到HDFS用户 ②创建一个input文件夹 zhangsf@hadoop1:~$ hdfs dfs -mkdir /input 多级创建的时候 hdfs dfs -mkdir -p /wifi/classify 查看创建的文件夹在 hadoop1:50070中查看（我自己的对...
Hadoop 2.6 集群搭建从零开始之2 JDK1.8安装
陈杰
09-16 1461
使用ppa/源方式安装1.添加ppasudo add-apt-repository ppa:webupd8team/java sudo apt-get update2.2.安装oracle-java-installer    sudo apt-get install oracle-java8-installersudo update-java-alternatives -s java-8-ora...
hadoop2.6.0分布式集群搭建（详细），搭建es-hadoop
shakalaka1的博客
09-25 6539
hadoop分布式集群的搭建，es-hadoop的搭建
hadoop2.6.5完全分布式集群搭建
xiaozhuangyumaotao的博客
05-11 773
要搭建起一个hadoop完全分布式集群至少需要3台机器，各个机器上分别运行哪些节点，要运行的节点都有什么，现在梳理如下： 针对上面表格的名词解释： node112: ip 为192.168.28.112的centos7服务器 node113: ip 为192.168.28.113的centos7服务器 node114: ip 为192.168.28.114的centos7服务器 nn:namenode,属于hdfs，相当于hdfs的老大 dn:datanode,属于hdfs，相当于hdfs的
Hadoop2.6集群搭建（CentOS7）
小草与猫的博客
07-31 1593
一、环境准备     1.三台虚拟机（CentOS7 + jdk1.8）           1）192.168.122.11    master    配置：2G内存+32G储存           2）192.168.122.12    slave1    配置：1G内存+32G储存           3）192.168.122.13    slave2    配置：1G内存+32G储存 ...
hadoop2.6版本集群环境搭建
stark_summer
01-05 390
一、环境说明 1、机器：一台物理机 和一台虚拟机 2、linux版本：[spark@S1PA11 ~]$ cat /etc/issueRed Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK:[spark@S1PA11 ~]$ java -versionjava version "1.6.0_27"Java(TM) SE Run...
初学者本地文件上传到Hadoop集群上常用命令步骤
探索数据奥秘的博客
06-01 9488
进入Linux服务器 用到secureCRT 链接(connect)，包括ip地址、账户和密码 在服务器本地上编辑创建文件 Vim 首先进入到的是一般模式，点击 i 字母进入编辑模式，esc 键退出编辑模式，然后可以点击 :wq 保存退出 进入集群环境（一般公司有从服务器到Hadoop集群的配置链接） 将本地文件上传到hdfs 查看hdfs 上文件目录结构，有哪些文件夹 命令: hadoop fs -ls / 创建目录 命令：hadoop fs -mkdir /目录名 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值