搭建4个节点的Hadoop

最新推荐文章于 2023-06-27 16:47:52 发布
最新推荐文章于 2023-06-27 16:47:52 发布
阅读量1w 收藏 7
点赞数
分类专栏： hadoop笔记 文章标签： hadoop 2-7-1 4个节点 安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huanbia/article/details/51658439
版权

说明

本博文较长，但是有效，如若计划安装多节点的hadoop，请一步一步坚持下去，有问题请留言，我们可以讨论来解决问题。
本人将该4个节点的hadoop安装在了vmware上了，同时支持安装在物理机或者vmware ESXi上。

节点说明ip地址
hadoop01主节点192.168.10.61
hadoop02从节点192.168.10.62
hadoop03从节点192.168.10.63
hadoop04从节点192.168.10.64

请注意以下说明：

以root身份执行的命令为红色字体
hadoop用户执行的为黑色字体

环境

软件版本下载地址
系统RedhatServer linux6.7https://access.redhat.com/downloads/
Hadoophadoop2.7.0http://hadoop.apache.org/docs/current/
JdkJdk7.9.1http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html

其中hadoop2.7.0和Jdk7.9.1两个软件我已经做好iso镜像，大家可以来百度网盘下载：点击下载

准备模板

由于搭建hadoop过程中有许多地方的配置是重复的，故我们需要做一个模板避免过度重复劳动。

安装RedhatServer

操作系统的安装大家可直接从网上寻找，在此不再啰嗦。

关闭防火墙

根据自己的需要执行如下命令

service iptables status –查看当前防火墙状态

service iptables stop –关闭防火墙

chkconfig iptables off –永久关闭防火墙

关闭SElinux

执行如下命令

vim /etc/sysconfig/selinux

将SELINUX设置为disabled

打开rsync

chkconfig rsync on

配置hosts

vim /etc/hosts

添加如下四行数据

192.168.10.61 hadoop01
192.168.10.62 hadoop02
192.168.10.63 hadoop03
192.168.10.64 hadoop04

hosts文件

创建hadoop用户

执行如下命令创建hadoop用户并设置其密码为hadoop123

useradd hadoop
echo “hadoop123” | passwd –stdin hadoop

解压hadoop、java文件

本文中我是将所有的软件包用软碟通打包到hadoop2.7.1dvd.iso中去，然后挂载到虚拟机的虚拟光驱中，大家也可以用FileZilla等工具将软件上传到该系统中去，在media中会显示一个20151220_122127的文件夹。
我的iso文件如下
iso文件
执行如下命令创建相应目录并将安装包复制到相应目录

mkdir /opt/moudles
cd /media/20151220_122127/Hadoop2.7.1/
cp hadoop-2.7.1.tar.gz /opt/moudles/
cd /media/20151220_122127/JDK1.7.91/
cp jdk-7u91-linux-x64.tar.gz /opt/moudles/

执行如下命令将所属用户修改为hadoop用户

chown hadoop /opt/moudles
chown hadoop /opt/moudles/hadoop-2.7.1.tar.gz
chown hadoop /opt/moudles/jdk-7u91-linux-x64.tar.gz

切换到hadoop用户，对压缩包进行解压

su hadoop
cd /opt/moudles/
tar zxvf hadoop-2.7.1.tar.gz
tar zxvf jdk-7u91-linux-x64.tar.gz

配置环境变量

依旧以hadoop身份执行如下命令

cat>>~hadoop/.bashrc <<<EOF
JAVA_HOME=/opt/moudles/jdk1.7.0_91
export JAVA_HOME
HADOOP_HOME=/opt/moudles/hadoop-2.7.1
export HADOOP_HOME
PATH=\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin:\$JAVA_HOME/bin:$PATH
EOF
exit

创建临时目录

以root用户身份创建临时目录，并赋予hadoop用户

mkdir -p /hadoopdata/hadoop/temp
chown -R hadoop /hadoopdata

关机，克隆4个节点

克隆4次，分别克隆出hadoop01~hadoop04，其中hadoop01为主节点，hadoop02-04为从节点。
克隆

开始安装hadoop 集群

对hadoop01~hadoop04修改

对hadoop01~hadoop04分别配置ip地址

节点说明ip地址
hadoop01主节点192.168.10.61
hadoop02从节点192.168.10.62
hadoop03从节点192.168.10.63
hadoop04从节点192.168.10.64

执行如下命令分别对各个节点修改主机名

vim /etc/sysconfig/network

将HOSTNAME设置为对应的名称，如主节点将HOSTNAME设置为hadoop01，从节点分别设置为对应的hadoop02.hadoop03，hadoop04。
修改成功后执行reboot命令重新启动

reboot

配置ssh

请参考另一篇博文linux下多节点之间免密钥访问

修改配置文件

对主节点hadoop01进行修改

对环境文件进行修改

涉及到的文件主要有：

  • /opt/moudles/hadoop-2.7.1/etc/hadoop/hadoop-env.sh
  • /opt/moudles/hadoop-2.7.1/etc/hadoop/yarn-env.sh
  • /opt/moudles/hadoop-2.7.1/etc/hadoop/mapred-env.sh
  • /opt/moudles/hadoop-2.7.1/etc/hadoop/slaves

以hadoop用户执行如下命令对hadoop-env.sh文件进行修改

cd /opt/moudles/hadoop-2.7.1
vim etc/hadoop/hadoop-env.sh

修改：

export JAVA_HOME=/opt/moudles/jdk1.7.0_91

继续执行如下命令对yarn-env.sh文件进行修改

vim etc/hadoop/yarn-env.sh

修改：

export JAVA_HOME=/opt/moudles/jdk1.7.0_91

继续执行如下命令对mapred-env.sh文件修改

vim etc/hadoop/mapred-env.sh

修改：

export JAVA_HOME=/opt/moudles/jdk1.7.0_91

继续执行如下命令对slaves文件进行修改

cd /opt/moudles/hadoop-2.7.1/etc/hadoop/
cat>slaves<<EOF
hadoop02
hadoop03
hadoop04
EOF

对配置文件进行修改

主要涉及的文件有：

  • /opt/moudles/hadoop-2.7.1/etc/hadoop/core-site.xml
  • /opt/moudles/hadoop-2.7.1/etc/hadoop/hdfs-site.xml
  • /opt/moudles/hadoop-2.7.1/ etc/hadoop/mapred-site.xml
  • /opt/moudles/hadoop-2.7.1/ etc/hadoop/yarn-site.xml

执行如下命令，对core-site.xml进行修改

cd /opt/moudles/hadoop-2.7.1/etc/hadoop/
vim core-site.xml

修改为如下

<configuration>

<property>
<name>hadoop.tmp.dir</name>
<value>/hadoopdata/hadoop/temp</value>
<description>A base for other temporary directories.</description>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://hadoop01:9000</value>
<description>The name of the default file system.</description>
</property>

<property>
<name>io.file.buffer.size</name>
<value>131072</value>
<description>io file buffer size</description>
</property>

</configuration>

执行如下命令，对hdfs-site.xml进行修改

cd /opt/moudles/hadoop-2.7.1/etc/hadoop/
vim hdfs-site.xml

修改为如下

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoopdata/hadoop/hdfs/namenode</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value> file:/hadoopdata/hadoop/hdfs/datanode</value>
</property>

<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>

执行如下命令，对mapred-site.xml进行修改

cd /opt/moudles/hadoop-2.7.1/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

修改为如下

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop01:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value> hadoop01:19888</value>
</property>
</configuration>

执行如下命令，对yarn-site.xml进行修改

cd /opt/moudles/hadoop-2.7.1/etc/hadoop/
vim yarn-site.xml

修改为如下

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop01:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop01:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop01:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop01:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop01:8088</value>
</property>
</configuration>

把配置文件复制到其他Hadoop集群节点

执行如下命令将配置文件打包，然后传到slave节点上

cd /opt/moudles/hadoop-2.7.1/etc/hadoop/
rm -rf hadoopconf
mkdir hadoopconf
cp hadoop-env.sh hadoopconf
cp core-site.xml hadoopconf
cp mapred-site.xml hadoopconf
cp slaves hadoopconf
cp hdfs-site.xml hadoopconf
cp yarn-site.xml hadoopconf
cp yarn-env.sh hadoopconf
cd hadoopconf
tar cvf hadoopconf.tar *
scp hadoopconf.tar hadoop@hadoop02:/opt/moudles/hadoop-2.7.1/etc/hadoop
scp hadoopconf.tar hadoop@hadoop03:/opt/moudles/hadoop-2.7.1/etc/hadoop
scp hadoopconf.tar hadoop@hadoop04:/opt/moudles/hadoop-2.7.1/etc/hadoop

分别在hadoop02，hadoop03，hadoop04上执行如下命令对其解包，完成Hadoop集群配置文件的同步

cd  /opt/moudles/hadoop-2.7.1/etc/hadoop/
tar xvf hadoopconf.tar

第一次启动hadoop

格式化namenode

在主节点上执行

cd  /opt/moudles/hadoop-2.7.1/ 
./bin/hdfs namenode -format

启动hdfs

在主节点上执行

cd  /opt/moudles/hadoop-2.7.1/
./sbin/start-dfs.sh

hdfs

启动yarn

在主节点上执行

cd  /opt/moudles/hadoop-2.7.1/
./sbin/start-yarn.sh
```shell
![yarn](https://img-blog.csdn.net/20160613155223649)




<div class="se-preview-section-delimiter"></div>

## 验证安装成功




<div class="se-preview-section-delimiter"></div>

###浏览器查看
通过浏览器访问http://hadoop01:50070
![浏览器](https://img-blog.csdn.net/20160613155409636)
通过浏览器访问http://hadoop01:8088
![浏览器](https://img-blog.csdn.net/20160613155503215)




<div class="se-preview-section-delimiter"></div>

###程序验证
执行如下代码运行带有12个map和100个样本的pi实例




<div class="se-preview-section-delimiter"></div>

```shell
cd /opt/moudles/hadoop-2.7.1/share/hadoop/mapreduce
yarn jar ./hadoop-mapreduce-examples-2.7.1.jar pi  12 100

执行结果如下所示：

Number of Maps = 12
Samples per Map = 100
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Wrote input for Map #10
Wrote input for Map #11
Starting Job
16/06/11 17:07:12 INFO client.RMProxy: Connecting to ResourceManager at hadoop01/192.168.10.61:8032
16/06/11 17:07:12 INFO input.FileInputFormat: Total input paths to process : 12
16/06/11 17:07:12 INFO mapreduce.JobSubmitter: number of splits:12
16/06/11 17:07:12 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1465618407612_0006
16/06/11 17:07:13 INFO impl.YarnClientImpl: Submitted application application_1465618407612_0006
16/06/11 17:07:13 INFO mapreduce.Job: The url to track the job: http://hadoop01:8088/proxy/application_1465618407612_0006/
16/06/11 17:07:13 INFO mapreduce.Job: Running job: job_1465618407612_0006
16/06/11 17:07:17 INFO mapreduce.Job: Job job_1465618407612_0006 running in uber mode : false
16/06/11 17:07:17 INFO mapreduce.Job: map 0% reduce 0%
16/06/11 17:07:29 INFO mapreduce.Job: map 8% reduce 0%
16/06/11 17:07:30 INFO mapreduce.Job: map 67% reduce 0%
16/06/11 17:07:36 INFO mapreduce.Job: map 75% reduce 0%
16/06/11 17:07:37 INFO mapreduce.Job: map 100% reduce 100%
16/06/11 17:07:37 INFO mapreduce.Job: Job job_1465618407612_0006 completed successfully
16/06/11 17:07:37 INFO mapreduce.Job: Counters: 49
File System Counters
FILE: Number of bytes read=270
FILE: Number of bytes written=1505992
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
HDFS: Number of bytes read=3170
HDFS: Number of bytes written=215
HDFS: Number of read operations=51
HDFS: Number of large read operations=0
HDFS: Number of write operations=3
Job Counters
Launched map tasks=12
Launched reduce tasks=1
Data-local map tasks=12
Total time spent by all maps in occupied slots (ms)=157380
Total time spent by all reduces in occupied slots (ms)=5029
Total time spent by all map tasks (ms)=157380
Total time spent by all reduce tasks (ms)=5029
Total vcore-seconds taken by all map tasks=157380
Total vcore-seconds taken by all reduce tasks=5029
Total megabyte-seconds taken by all map tasks=161157120
Total megabyte-seconds taken by all reduce tasks=5149696
Map-Reduce Framework
Map input records=12
Map output records=24
Map output bytes=216
Map output materialized bytes=336
Input split bytes=1754
Combine input records=0
Combine output records=0
Reduce input groups=2
Reduce shuffle bytes=336
Reduce input records=24
Reduce output records=0
Spilled Records=48
Shuffled Maps =12
Failed Shuffles=0
Merged Map outputs=12
GC time elapsed (ms)=3029
CPU time spent (ms)=35170
Physical memory (bytes) snapshot=3409559552
Virtual memory (bytes) snapshot=11427811328
Total committed heap usage (bytes)=2604138496
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=1416
File Output Format Counters
Bytes Written=97
Job Finished in 25.365 seconds
Estimated value of Pi is 3.14666666666666666667

关闭hadoop

停止yarn

在主节点上执行如下命令

cd  /opt/moudles/hadoop-2.7.1/
./sbin/stop-yarn.sh

停止hdfs

在主节点执行如下命令

cd  /opt/moudles/hadoop-2.7.1/
./sbin/stop-dfs.sh
huanbia
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
完全分布式Hadoop集群的安装搭建和配置（4节点）
login_sonata的博客
10-05 1万+
学习参考了给力星的两个节点的hadoop搭建过程，我用VirtualBox开了四个Ubuntu（版本15.10）虚拟机，搭建了四个节点的Hadoop分布式集群，并配置了HA，适合首次搭建的同学参考，节点设计如下： 一、准备工作 在Master节点完成基本工作，包括配置Hadoop用户，安装配置ssh，安装配置java环境，这个阶段给力星同学写得很详细，每一步都有解释。 1、新
Hadoop节点的搭建
qq_51039151的博客
10-11 666
Hadoop节点的搭建 1，修改network文件 命令 cd /etc/sysconfig/network HOSTNAME=node1(以node1为例) 2，重启 使用reboot 或者 shutdown -r 0 3，关闭防火墙 service iptables stop 关闭防火墙开机启动 chkconfig iptables off (可以选择不执行该命令) 4，安装jdk、配置环境变量，测试 (1) jdk的安装命令 rpm -ivh jdk版本名.rpm (2) 安装之后到 /usr/jav
大数据之Hadoop集群搭建（4个节点）
m0_67393039的博客
04-12 1049
大数据必备–搭建Hadoop集群（4个节点） 初学大数据肯定第一步先搭建hadoop集群，虽然不知道怎么用，但是先搭建集群是你大数据学习之旅的第一步，操作步骤有以下这几步，用的centos系统 对四台虚拟机进网络和静态IP设置 Hadoop、jdk的安装 创建hadoop文件目录 导入jdk和hadoop的环境变量 修改hadoop配置文件 修改虚拟机主机名 绑定hostname与ip地址 关闭防火墙 配置节点之间的免密登录 格式化HDFS文件系统 启动HDFS文件系统 完成以上步骤就算搭建成功，当然.
搭建4个节点的完全分布式Hadoop集群--hadoop3.2.0+jdk1.8
fager漫长路
05-23 2261
本文详细介绍搭建4个节点的完全分布式Hadoop集群的方法，Linux系统版本是CentOS 7，Hadoop版本是3.2.0，JDK版本是1.8。 一、准备环境 在VMware workstations上创建4个Linux虚拟机，并配置其静态IP。 有关【创建Linux虚拟机及配置网络】，请参考https://www.cnblogs.com/shireenlee4testing/p/9469...
Linux中Hadoop的环境搭建
qq_38983002的博客
03-18 183
一：下载安装 Hadoop 1.1：下载指定的Hadoop 1.2：通过XFTP把文件上传到master电脑bigData目录下 1.3：解压hadoop压缩文件 tar -xvf hadoop-2.8.0.tar.gz 1.4：进入压缩文件之后 复制路径 /bigData/hadoop-2.8.0 1.5：配置Ha...
搭建Hadoop单节点
qq_56394220的博客
10-10 1349
搭建Hadoop单节点
详解搭建ubuntu版hadoop集群
09-15
Ubuntu是Linux发行版中的一个流行选择，其稳定性和丰富的软件包管理器使得它成为搭建Hadoop集群的理想平台。 首先，我们需要准备以下工具： 1. VMware - 虚拟机软件，用于在本地计算机上模拟多台Ubuntu服务器。 2. ...
ubuntu搭建hadoop单节点.docx
10-05
ubuntu 搭建 Hadoop 单节点 Hadoop 是一个由 Apache 基金会所开发的分布式系统根底架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。Hadoop 实现了一个分布式文件系统（HDFS），简称 HDFS。HDFS 有...
大数据 hadoop完全分布4台搭建全过程
04-06
这是我自己一步一步搭建的过程，4台虚拟机 双namenode 涉及 ftp zookeper hadoop,等每一步就是测试过的
基于docker搭建6节点hadoop集群
Alita_lxz的博客
12-04 691
centos8基于docker搭建6个节点的hadoop集群 yum源配置 配置阿里的centos8 yum源 cd /etc/yum.repos.d mkdir bak mv * bak wget https://mirrors.aliyun.com/repo/Centos-8.repo yum clean all yum repolist 安装docker yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-
hadoop中节点
LC900730的博客
11-22 2254
namenode主要功能 namenode提供名称查询服务 namenode保存metadate信息。(包括oweership和permissions)。文件包含哪些块；Block保存在哪个Datanode(由DataNode启动时候上报) NameNode的metadate信息启动后会加载到内存。 datanode主要功能Hadoop 集群包含一个NameNode和大量的DataNode 保存bl
Hadoop集群搭建管理(四节点集成)
Above the cloud
07-29 1296
Hadoop的安装与配置 配置好网络、yum源及关闭防火墙和做好主机映射，并ssh免密互通 1、创建hadoop用户。 分别在四台节点机上创建用户hadoop，uid=660，密码都设置为123456 2、设置Master节点机ssh无密码登录Slave节点机 （详细参考同专栏里的《密码学基础及ssh实现多节点间无密码访问》 3、使用WinSCP上传hadoop-2.7.2.tar.gz软件包到node1节点机的root目录下。 如果hadoop软件包在node1节点机上编译，则把编译好的包拷贝到r
好程序员大数据独家解析 hadoop五大节点
weixin_30825199的博客
05-16 231
1.NameNode(管理节点) Namenode 管理着文件系统的命令空间(Namespace)。它维护着文件系统树以及文件树中所有的文件和文件夹的元数据(metadata)，元数据包括编辑日志(edits)和镜像文件。管理这些信息的文件有两个，分别是Namespace 镜像文件(fsimage)和编辑日志文件，编辑日志主要是记录对hdfs进行的修改。镜像文件主要是记录hdfs的文件树...
Hadoop开发环境的搭建与配置（基于Linux）
weixin_46663535的博客
10-10 2448
本文主要基于VMware，Ubuntu，jdk8，讲解Hadoop开发环境的搭建与配置。
hadoop中各个节点的作用
weixin_45785893的博客
11-12 4949
typora-copy-images-to: img hadoop中各个节点的作用 一 ：namenode： 管理文件系统的命名空间，他维护着文件系统树及整棵树上所有的文件和目录，这些信息以两个文件形式永久的保存在本地磁盘上，命名空间镜像文件(fsimage)和(Editlogs) fsimage：namenode启动时，对整个文件系统的快照 editlogs：namenode启动以后，对文件系统的改动序列 namenode也记录着每个文件中各个块所在的数据节点信息(包括副本数，用户对hd.
【Hadoop】创建Hadoop集群（3个节点）—— 安装部署一个3个节点构成的hbase集群
最新发布
disy924的博客
06-27 6533
互联网的快速发展带来了数据快速增加，海量数据的存储已经不是一台机器所能处理的问题了。Hadoop的技术应运而生，对于伪分布式存储，Hadoop有自己的一套系统Hadoop distribution file system来处理，为什么分布式存储需要一个额外的系统来处理，而不是就把1TB以上的文件分开存放就好了呢，如果不采用新的系统，我们存放的东西没办法进行一个统一的管理。
单节点Hadoop基础环境搭建教程
这里我们详细讲解在单台虚拟机上搭建Hadoop的基本过程，虽然实际生产环境中通常会有多台节点，但理解单节点的配置有助于掌握整个流程。 1、Hadoop基础环境搭建 基础环境的搭建主要包括主机名解析、时间同步、关闭...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值