第二章、Hadoop之完全分布式安装

最新推荐文章于 2024-01-19 10:57:15 发布
最新推荐文章于 2024-01-19 10:57:15 发布
阅读量1k 收藏 1
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liyongke89/article/details/51513989
版权

原文地址：http://blog.csdn.net/wanmeilingdu/article/details/51447290

一、基础环境准备

a. 配置好各个机器的IP地址等，我这边是三台虚拟机，列表如下：

master  192.168.149.131  centos6.5 x64
slave1  192.168.149.132  centos6.5 x64
slave2  192.168.149.133  centos6.5 x64

b. 在每台机器上的/etc/hosts文件后面追加下图的ip映射，如下： 

192.168.149.131 master
192.168.149.132 slave1
192.168.149.133 slave2
c. 在每台机器上关闭Linux系统防火墙 
service iptables stop #关闭防火墙服务，重启后失效 
chkconfig iptables off #关闭开机启动防火墙服务，重启后生效 
d. 在每台机器上安装jdk并配置环境变量 
本人使用的是下载好的rpm包（jdk-7u67-linux-x64.rpm），执行命令安装jdk：rpm -ivh jdk-7u67-linux-x64.rpm；默认安装到/usr/ Java /目录下，然后命令修改当前用户的环境变量：vi ~/.bash_profile ，修改结果如下： 

JAVA_HOME=/usr/java/jdk1.7.0_67/
PATH=$PATH:$HOME/bin:$PATH:$JAVA_HOME/bin
export PATH

执行source命令，使配置的环境变量生效： 

source ~/.bash_profile

二、SSH免密码登录

使用命令生成ssh的公钥和私钥，并拷贝到其他机器上，例如在master节点上，依次执行以下命令： 


ssh-keygen -t rsa      #生成公钥私钥，需要敲四下回车键
ssh-copy-id -i slave1  #将本机的公钥复制到远程机器的authorized_keys文件中，需要输入yes确认和slave1的登录密码
ssh-copy-id -i slave2  #将本机的公钥复制到远程机器的authorized_keys文件中，需要输入yes确认和slave2的登录密码

验证配置是否成功：

[root@master ~]# ssh slave1
Last login: Thu May 19 04:36:01 2016 from 192.168.149.1
[root@slave1 ~]# exit
logout
Connection to slave1 closed.

然后在slave1和slave2机器上依次执行如上的命令，注意细节的修改哦！！！

三、安装Zookeeper

a. 这里使用的zookeeper是3.4.6，首先解压tar.gz 

tar -zxvf zookeeper-3.4.6.tar.gz

b. 切换到zookeeper目录的conf目录，修改zoo.sample.cfg为zoo.cfg 

mv zoo.sample.cfg zoo.cfg

c. 配置zoo.cfg

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/opt/soft/zookeeper-3.4.6/data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=192.168.149.131:2888:3888
server.2=192.168.149.132:2888:3888
server.3=192.168.149.133:2888:3888

server.1=192.168.149.131:2888:3888 
2888是通信端口，3888是zookeeper选举端口，这里用ip也可以，用主机名也可以。 
注意配置文件中的datadir 
dataDir=/opt/soft/zookeeper-3.4.6/data 
这个目录要真实存在才可以； 
d. 接下来要在/opt/soft/zookeeper-3.4.6/data目录中增加一个文件”myid” 
vi myid 
文件里面写入1，然后保存，这表示是server.1; 
好了，这样就配置好了 
f. 将配置好的zookeeper-3.4.6目录分发拷贝到slave1、slave2 

scp -r zookeeper-3.4.6/ root@slave1:/opt/soft/
scp -r zookeeper-3.4.6/ root@slave2:/opt/soft/
注意要修改data目录中myid的内容为相应的2和3 
g. 启动zookeeper 
在每台机器上，切换到zookeeper-3.4.6目录执行以下命令： 
bin/zkServer.sh start #启动
bin/zkServer.sh status #查看状态

查看结果： 

[root@master zookeeper-3.4.6]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
[root@master zookeeper-3.4.6]# 

[root@slave1 zookeeper-3.4.6]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader
[root@slave1 zookeeper-3.4.6]# 

[root@slave2 zookeeper-3.4.6]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
[root@slave2 zookeeper-3.4.6]#

四、Hadoop完全分布式、高可用和YARN的安装配置

a. 解压Hadoop-2.7.2.tar.gz，我这里用的是我自己在64机器上编译的，如何编译见Hadoop2.7.2源码在64位Centos Linux下编译 ，编译好的tar包可以在这里下载，也可以在hadoop官网上下载，使用官网的tar包，除了会在启动的时候有个警告（warn），无其他使用问题。

tar -zxvf hadoop-2.7.2.tar.gz
rm -rf hadoop-2.7.2/share/doc/   #删除doc文档

b. 配置hadoop-env.sh 

vi etc/hadoop/hadoop-env.sh

修改JAVA_HOME为本机安装的jdk目录 

export JAVA_HOME=/usr/java/jdk1.7.0_67/
c. 配置core-site.xml 

vi etc/hadoop/core-site.xml

在configuration标签中添加如下内容，保存退出 

<!--hdfs集群访问地址-->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
<!--zookeeper地址-->
<property>
  <name>ha.zookeeper.quorum</name>
  <value>master:2181,slave1:2181,slave2:2181</value>
</property>
<!--hadoop数据存放数据,hdfs启动时会自动创建-->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/data</value>
</property>

d. 配置hdfs-site.xml 

vi etc/hadoop/hdfs-site.xml
在configuration标签中添加如下内容，保存退出 

<!--hdfs集群名称,和core-site.xml中的对应-->
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<!--hdfs集群的两个namenode节点-->
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<!--hdfs集群的两个namenode节点之一的rpc访问地址端口-->
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>master:8020</value>
</property>
<!--hdfs集群的两个namenode节点之一的rpc访问地址端口-->
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>slave1:8020</value>
</property>
<!--hdfs集群的两个namenode节点之一的http访问地址端口-->
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>master:50070</value>
</property>
<!--hdfs集群的两个namenode节点之一的http访问地址端口-->
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>slave1:50070</value>
</property>
<!--hdfs集群journalnode地址-->
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
</property>
<!--hdfs集群namenode高可用配置-->
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--hdfs集群namenode高可用方式-->
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>
<!--hdfs集群高可用超时配置-->
<property>
  <name>dfs.ha.fencing.ssh.connect-timeout</name>
  <value>30000</value>
</property>
<!--hdfs集群journalnode edits文件存放目录-->
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/opt/hadoop/data</value>
</property>
<!--hdfs集群高可用启用配置-->
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>

e. 配置yarn-site.xml 

mv etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vi etc/hadoop/yarn-site.xml
在configuration标签中添加如下内容，保存退出 

<!--启用YARN-->
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<!--YARN集群的id,可以随便写-->
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>cluster1</value>
</property>
<!--配置YARN的高可用的两个节点-->
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<!--配置YARN的高可用的两个节点之一-->
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>master</value>
</property>
<!--配置YARN的高可用的两个节点之一-->
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>slave1</value>
</property>
<!--配置YARN的节点访问地址-->
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>master:8088</value>
</property>
<!--配置YARN的节点访问地址-->
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>slave1:8088</value>
</property>
<!--配置YARN依赖的zookeeper集群地址-->
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>master:2181,slave1:2181,slave2:2181</value>
</property>

f. 配置mapred-site.xml 

vi etc/hadoop/mapred-site.xml

在configuration标签中添加如下内容，保存退出 

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

g. 分发拷贝hadoop-2.7.2目录到其他机器上 

scp -r hadoop-2.7.2/ root@slave1:/opt/soft/
scp -r hadoop-2.7.2/ root@slave2:/opt/soft/

h. 配置hadoop的环境变量 

vi ~/.bash_profile
添加完后的内容如下所示： 

JAVA_HOME=/usr/java/jdk1.7.0_67/
PATH=$PATH:$HOME/bin:$PATH:$JAVA_HOME/bin
HADOOP_HOME=/opt/soft/hadoop-2.7.2/
PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export PATH

使设置的环境变量生效： 

source ~/.bash_profile
a. 先决条件：保证zookeeper已经启动… 

b. 启动三台journalnode

hadoop-daemon.sh start journalnode

c. 在其中一个namenode上格式化 

hdfs namenode -format
d. 把刚刚格式化之后的元数据拷贝到另外一个namenode上 

scp -r /data/dfs/ root@slave1:/data/

e. 在其中一个namenode上初始化zkfc 

hdfs zkfc -formatZK
f. 停止上面节点 

stop-all.sh

g. 启动 

start-all.sh
h. 其中一个yarn resourcemananger 需要手动启动 

yarn-daemon.sh start resourcemanager
i.通过jps命令查看启动的hadoop进程







富的只剩下代码
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop完全分布式安装
an_vana的博客
08-16 961
Hadoop 完全分布式安装 前言 ​ 之前有搭建过一次 Hadoop 完全分布式集群但是没有记录，最近开始着手自己搭个模拟数仓需要搭建集群，趁此机会记录一下搭建的过程。 环境及机器： 节点：三台虚拟机 配置：内存 16G、硬盘 100G 系统：Centos 7.7 Hadoop版本：2.7.7 1、安装JDK1.8 1.1 下载 JDK ​ 推荐安装 Oracle 官方提供的 JDK 版本，可以在 Oracle 官网下载得到，下载 Linux 系统的版本即可 1.2 解压 JDK ​ 将下载的 JDK
分布式数据库HBase安装配置与实践.doc
04-06
HBase有三种运行模式：单机模式、伪分布式模式和完全分布式模式。对于学习和初步实践，我们关注单机模式和伪分布式模式。 - **伪分布式模式配置** 在这个模式下，HBase和Hadoop运行在同一台机器上，模拟分布式...
全分布式安装
weixin_42546729的博客
02-03 103
1.设置相同日期（因为要设置心跳）date -s "yyyy-mm-dd HH-mm--ss" 2.查看别称 cat /etc/sysconfig/network cat /etc/hosts 3.ssh localhost 生成 .ssh文件 4.Linux scp 命令用于 Linux 之间复制文件和目录。 在node01节点上的.ssh文件中添加scp id_dsa.pub n...
完全分布式的安装
轻言少语的博客
07-03 492
先准备三台虚拟机，依次分别命名Hadoop01，Hadoop02，Hadoop03. IP地址依次为192.168.10.101；192.168.10.102；192.168.10.103； 完全分布式搭建环境准备 1. 总纲 1. 三台机器的防⽕墙必须是关闭的. 2. 确保三台机器的⽹络配置畅通(NAT模式，静态IP，主机名的配置) 3. 确保/etc/hosts⽂件配置了ip和hostname的映射关系 4. 确保配置了三台机器的免密登陆认证（克隆会更加⽅便） 5. ...
Hadoop2.6.2完全分布式集群HA模式安装配置详解
Meyao's Blog
04-13 7402
一、机器配置清单(8节点) hadoop100 节点：NameNode、DFSZKFailoverController(ZKFC) hadoop101 节点：NameNode、DFSZKFailoverController(ZKFC) hadoop102: 节点：ResourceManager hadoop103: 节点：ResourceManager hadoop104: 节点：Data
完全分布式安装配置
Inkbamboo专栏
10-22 428
ssh-keygen ssh-cpoy-id mini2 /etc/sysconfig/network 修改IP地址：和HWaddr（mac）地址与上面的文件中的HWaddr地址一样 ONBOOT=yes BOOTPROTO=static IPADDR=192.168.183.130 GATEWAY=192.168.1
云计算第三版精品课程配套PPT课件含习题（26页）第5章 Hadoop 2.0 主流开源云架构（二）.pptx
06-05
Hadoop 2.0的部署涉及到多个方面，包括单机模式、伪分布式模式和完全分布式模式，以及如何配置Hadoop环境，优化集群性能等。此外，Hadoop 2.0提供了多种访问接口，如HDFS的API，MapReduce编程接口，以及与Hadoop生态...
云计算第三版精品课程配套PPT课件含习题（31页）第6章 Hadoop 2.0 大家族（二）.rar
09-29
6. **Hadoop的安装与配置**：简述Hadoop环境的搭建过程，包括单机模式、伪分布式模式和完全分布式模式的配置。 7. **案例分析**：通过实际案例来展示Hadoop在处理大规模数据时的能力，可能包括日志分析、推荐系统、...
清华大学精品大数据实战课程（Hadoop、Hbase、Hive、Spark）PPT课件含习题（32页） 第2章 Hadoop基础
09-29
本篇内容主要围绕清华大学精品大数据实战课程中的第二章——Hadoop基础进行深入解析。Hadoop作为大数据处理的核心框架，是学习大数据技术的重要起点。通过这份32页的PPT课件，我们将深入了解Hadoop的基本概念、架构...
《Hadoop大数据技术原理与应用》课后习题答案
12-03
Hadoop集群可以在独立模式、伪分布式模式和完全分布式模式下运行。在独立模式下，所有的程序都在单个JVM上执行。在伪分布式模式下，Hadoop程序的守护进程运行在一台节点上。在完全分布式模式下，Hadoop的守护进程...
Hadoop完全分布式详细安装过程
11-23
Hadoop安装有三种模式：单机、伪分布式、完全分布式，本文档为完全分布式安装，过程很详细，设计内容包括：在win7上安装虚拟化工具VMware（用于支撑Linux系统），在VMware上安装Ubuntu系统，安装Hadoop前的准备工作（安装JDK和SSH服务），配置Hadoop，安装eclipse（为了方便开发过程），运行一个简单的Hadoop程序（WordCount.java）等。
Hadoop【第十课】：完全分布式安装Hadoop
zoxiii的博客
03-10 3336
VMware workstation CentOS 7 完全分布式安装 author：zoxiii 完全分布式安装1、安装JDK（1）下载JDK（2）传输JDK到虚拟机中（3）删除虚拟机原有的JDK（4）安装配置JDK2、安装Hadoop（1） 下载Hadoop（2）将Hadoop传输到虚拟机中（3）Hadoop解压缩：查看有哪些配置文件3、修改配置文件（1）为Hadoop配置JDK的路径（2）配置HDFS系统（3）配置完全分布式（4）配置Hadoop的mapreduce运行在yarn上（5）配置yar.
Hadoop完全分布式安装步骤
weixin_46178305的博客
08-28 5872
文章目录第一节：新建虚拟机1、配置类型为“自定义”2、安装来源为“稍后安装操作系统”3、客户机和版本分别为“Linux”和“CenOs7 64位”4、命名虚拟机5、处理器配置6、虚拟机的内存7、网络类型8、磁盘大小9、安装系统1、下一步2、点击 CD/DVD 进入查找系统镜像文件3、点击使用镜像文件4、开启虚拟机进入安装界面5、语言选择6、选择安装位置7、选择“我要配置分区”8、在手动分区界面选择“点击这里自动创建他们”9、点击完成即可10、开始配置网络11、开启连接和点击配置来配置网络12、编辑ens
安装全分布式的大致步骤
bingmo_的博客
04-11 247
安装全分布式的大致步骤： 1.先下载vmware，下载好后，再在电脑下载一个镜像。 2.在VMware上建立至少两台虚拟机。配置虚拟机的时候，主机名不同，但用户名必须一样，还要记得设置密码，就设置123就行。 3.建全分布式的时候，主虚拟机的内核和内存最好比辅虚拟机大。 4.下载SecureCRT，在上面配置环境。 5.下载SecureFX，在上面上传Hadoop要用的文件。 ...
【运维】Hadoop完全分布式
最新发布
不纯正的逼格的专栏
01-19 95
为了后期使用方便，我们为集群机器之间设置免密登录，这里使用 Xshell 工具使用远程登录连接操作，可以在官网免费下载 Xshell 官网，顺便也下载 Xftp 工具，方便后期传输文件和安装包。一直点击下一步，设置虚拟机磁盘容量，根据自身的实际情况来，建议设置为 50G，避免其它应用安装不了。点击左下角 + 号添加分区，点击下拉列表框，选择 /boot，分配 1G 空间，点击添加，添加完成后修改文件系统为 ext4。上述设置完成后，点击开始安装，设置 ROOT 密码，顺便添加一个用户，等待系统安装完成。
高可用完全分布式安装步骤
SmallIPPig的博客
10-12 329
1.4台服务器node01 node02 node03 node04 集群规划： node01 ：NN-1、ZKFC、 JNN node02 ：NN-2、 DN、 ZK 、ZKFC、 JNN node03 ： DN、 ZK、JNN node04 ：ZK 、JNN 2.配置好jdk 3.配置免密钥 node01-&gt;node01 node01...
Hadoop为分布式及完全分布式安装详细过程
e_123456457的博客
05-21 169
我安装的hadoop-2.7.3 一、 首先下载 jdk-8u121-linux-x64.tar.gz 然后上传到Linux 解压到/opt/module tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module 配置JDK并生效 vi /etc/profile文件添加： export JAVA_HOME=/o...
Hadoop 完全分布式安装
chen_zan_yu_的博客
11-30 167
第1课第4.4节_Android硬件访问服务编写HAL代码
weixin_30245867的博客
06-12 133
android应用如何访问C库 - 落魄影子 - 博客频道 - CSDN.NET http://blog.csdn.net/ab198604/article/details/51249303 Android硬件访问服务框架代码编写 - 落魄影子 - 博客频道 - CSDN.NET http://blog.csdn.net/ab198604/article/details/51397586 ...
Hadoop技术-Hadoop完全分布式安装.pptx
11-02
Hadoop技术-Hadoop完全分布式安装.pptx

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值