Hadoop集群安装配置教程

最新推荐文章于 2023-07-27 16:42:30 发布
最新推荐文章于 2023-07-27 16:42:30 发布
阅读量1.2k 收藏 7
点赞数 1
文章标签： 分布式 大数据 hadoop linux java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43279138/article/details/124441584
版权

Hadoop集群安装配置教程

目录

链接： https://pan.baidu.com/s/1rDyTLQKA5MvfVWc8CtoL_g
提取码：8v19
--来自百度网盘超级会员V6的分享

1、环境

名称物理IP说明版本操作系统
hadoop-master192.168.200.34名称节点3.1.3ubuntu20.04
hadoop-slave192.168.200.35数据节点3.1.3ubuntu20.04
#添加主机名映射(两节点同步进行)
root@hadoop-master:~# vim /etc/hosts
root@hadoop-master:~# tail -2 /etc/hosts
192.168.200.34 hadoop-master
192.168.200.35 hadoop-slave

2、创建hadoop用户(两节点同步进行)

#创建hadoop用户
root@hadoop-master:~# useradd -m hadoop -s /bin/bash

#设置hadoop密码
root@hadoop-master:~# passwd hadoop

#为新建的hadoop增加管理员权限
root@hadoop-master:~# adduser hadoop sudo

3、安装SSH、配置SSH无密码登陆

集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令)，Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：

#安装openssh-server
hadoop@hadoop-master:~$ sudo apt-get -y install openssh-server
#生成密匙
hadoop@hadoop-master:~$ ssh-keygen -t rsa

#加入授权，为了让Master节点能够无密码SSH登录本机
hadoop@hadoop-master:~$ cd .ssh/
hadoop@hadoop-master:~/.ssh$ cat id_rsa.pub > authorized_keys
#将hadoop-master节点上的公匙传输到hadoop-slave节点
hadoop@hadoop-master:~/.ssh$ scp ~/.ssh/id_rsa.pub hadoop@hadoop-slave:/home/hadoop/

#接着在hadoop-slave节点上，将SSH公匙加入授权：
hadoop@hadoop-slave:~$ mkdir .ssh
hadoop@hadoop-slave:~$ cat id_rsa.pub > ./.ssh/authorized_keys

4、安装Java环境(两节点同步进行)

#创建JDK存放目录
hadoop@hadoop-master:~$ sudo mkdir -p /usr/lib/jvm

#把JDK文件解压到/usr/lib/jvm目录下
hadoop@hadoop-master:~$ sudo tar xf jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm/
#添加环境变量
hadoop@hadoop-master:~$ vim ~/.bashrc 
hadoop@hadoop-master:~$ tail -4 ~/.bashrc 
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

#使环境变量立即生效
hadoop@hadoop-master:~$ source ~/.bashrc
#检查java是否安装成功
hadoop@hadoop-master:~$ java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

5、安装Hadoop3.1.3(两节点同步进行)

#安装hadoop
hadoop@hadoop-master:~$ sudo tar xf hadoop-3.1.3.tar.gz -C /usr/local/
hadoop@hadoop-master:~$ cd /usr/local/
hadoop@hadoop-master:/usr/local$ sudo mv hadoop-3.1.3 hadoop
hadoop@hadoop-master:/usr/local$ sudo chown -R hadoop:hadoop hadoop
#验证Hadoop是否可用
hadoop@hadoop-master:/usr/local$ cd hadoop/
hadoop@hadoop-master:/usr/local/hadoop$ ./bin/hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.1.3.jar

6、配置PATH变量(两节点同步进行)

#添加环境变量
hadoop@hadoop-master:~$ vim ~/.bashrc 
hadoop@hadoop-master:~$ tail -1 ~/.bashrc 
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

#使环境变量立即生效
hadoop@hadoop-master:~$ source ~/.bashrc

7、配置集群/分布式环境(两节点同步进行)

在配置集群/分布式模式时，需要修改/usr/local/hadoop/etc/hadoop目录下的配置文件，这里仅设置正常启动所必须的设置项，包括workers 、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml共5个文件，更多设置项可查看官方说明。

1、修改文件workers
需要把所有数据节点的主机名写入该文件，每行一个，默认为 localhost(即把本机作为数据节点)，所以，在伪分布式配置时，就采用了这种默认的配置，使得节点既作为名称节点也作为数据节点。在进行分布式配置时，可以保留localhost，让Master节点同时充当名称节点和数据节点，或者也可以删掉localhost这行，让Master节点仅作为名称节点使用。
本教程让Master节点仅作为名称节点使用，因此将workers文件中原来的localhost删除，只添加如下一行内容：

hadoop@hadoop-master:~$ cd /usr/local/hadoop/etc/hadoop/
hadoop@hadoop-master:/usr/local/hadoop/etc/hadoop$ vim workers 
hadoop@hadoop-master:/usr/local/hadoop/etc/hadoop$ cat workers 
hadoop-slave

2、修改文件core-site.xml
请把core-site.xml文件修改为如下内容：

hadoop@hadoop-master:/usr/local/hadoop/etc/hadoop$ nano core-site.xml 
hadoop@hadoop-master:/usr/local/hadoop/etc/hadoop$ cat core-site.xml 
......

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop-master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

各个配置项的含义可以参考前面伪分布式模式时的介绍，这里不再赘述。

3、修改文件hdfs-site.xml
对于Hadoop的分布式文件系统HDFS而言，一般都是采用冗余存储，冗余因子通常为3，也就是说，一份数据保存三份副本。但是，本教程只有一个Slave节点作为数据节点，即集群中只有一个数据节点，数据只能保存一份，所以 ，dfs.replication的值还是设置为 1。hdfs-site.xml具体内容如下：

hadoop@hadoop-master:/usr/local/hadoop/etc/hadoop$ nano hdfs-site.xml 
hadoop@hadoop-master:/usr/local/hadoop/etc/hadoop$ cat hdfs-site.xml 
......

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop-master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

4、修改文件mapred-site.xml
把mapred-site.xml文件配置成如下内容：

hadoop@hadoop-master:/usr/local/hadoop/etc/hadoop$ nano mapred-site.xml 
hadoop@hadoop-master:/usr/local/hadoop/etc/hadoop$ cat mapred-site.xml ......

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>hadoop-master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>hadoop-master:19888</value>
        </property>
        <property>
                <name>yarn.app.mapreduce.am.env</name>
                <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
        </property>
        <property>
                <name>mapreduce.map.env</name>
                <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
        </property>
        <property>
                <name>mapreduce.reduce.env</name>
                <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
        </property> 
</configuration>

5、修改文件 yarn-site.xml
请把yarn-site.xml文件配置成如下内容：

hadoop@hadoop-master:/usr/local/hadoop/etc/hadoop$ nano yarn-site.xml 
hadoop@hadoop-master:/usr/local/hadoop/etc/hadoop$ cat yarn-site.xml 
......

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop-master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

6、配置hadoop JAVA环境变量

hadoop@hadoop-master:/usr/local/hadoop$ vim ./etc/hadoop/hadoop-env.sh 
hadoop@hadoop-master:/usr/local/hadoop$ sed -n "54p" ./etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162

7、首次启动Hadoop集群时，需要先在Master节点执行名称节点的格式化(只需要执行这一次，后面再启动Hadoop时，不要再次格式化名称节点)，命令如下：

hadoop@hadoop-master:/usr/local/hadoop/etc/hadoop$ cd /usr/local/hadoop/
hadoop@hadoop-master:/usr/local/hadoop$ ./bin/hdfs namenode -format

8、现在就可以启动Hadoop了，启动需要在Master节点上进行，执行如下命令：

hadoop@hadoop-master:/usr/local/hadoop$ ./sbin/start-dfs.sh 
hadoop@hadoop-master:/usr/local/hadoop$ ./sbin/start-yarn.sh
hadoop@hadoop-master:/usr/local/hadoop$ ./sbin/mr-jobhistory-daemon.sh start historyserver

通过命令jps可以查看各个节点所启动的进程。如果已经正确启动，则在Master节点上可以看到NameNode、ResourceManager、SecondrryNameNode和JobHistoryServer进程，如下所示。

hadoop@hadoop-master:/usr/local/hadoop$ jps
17728 JobHistoryServer
16992 NameNode
17399 ResourceManager
17213 SecondaryNameNode
17805 Jps

在Slave节点可以看到DataNode和NodeManager进程，如下所示。

hadoop@hadoop-slave:/usr/local/hadoop$ jps
13738 NodeManager
13581 DataNode
13871 Jps

缺少任一进程都表示出错。另外还需要在Master节点上通过命令hdfs dfsadmin -report查看数据节点是否正常启动，如果屏幕信息中的“Live datanodes”不为 0 ，则说明集群启动成功。由于本教程只有1个Slave节点充当数据节点，因此，数据节点启动成功以后，会显示如下图所示信息。image.png-49.4kB

也可以在Linux系统的浏览器中输入地址“http://hadoop-master:9870/”，通过 Web 页面看到查看名称节点和数据节点的状态。如果不成功，可以通过启动日志排查原因。

这里再次强调，伪分布式模式和分布式模式切换时需要注意以下事项：

  • 从分布式切换到伪分布式时，不要忘记修改slaves配置文件；
  • 在两者之间切换时，若遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。所以，如果集群以前能启动，但后来启动不了，特别是数据节点无法启动，不妨试着删除所有节点(包括Slave节点)上的/usr/local/hadoop/tmp文件夹，再重新执行一次hdfs namenode -format，再次启动即可。

8、执行分布式实例

执行分布式实例过程与伪分布式模式一样，首先创建HDFS上的用户目录，命令如下：

hadoop@hadoop-master:/usr/local/hadoop$ hdfs dfs -mkdir -p /user/hadoop

然后，在HDFS中创建一个input目录，并把/usr/local/hadoop/etc/hadoop目录中的配置文件作为输入文件复制到input目录中，命令如下：

hadoop@hadoop-master:/usr/local/hadoop$ hdfs dfs -mkdir input
hadoop@hadoop-master:/usr/local/hadoop$ hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input

接着就可以运行 MapReduce 作业了，命令如下：

hadoop@hadoop-master:/usr/local/hadoop$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+'

运行时的输出信息与伪分布式类似，会显示MapReduce作业的进度，如下所示。

......
2022-04-14 19:38:09,651 INFO mapreduce.Job: Running job: job_1649936194163_0002
2022-04-14 19:38:19,778 INFO mapreduce.Job: Job job_1649936194163_0002 running in uber mode : false
2022-04-14 19:38:19,778 INFO mapreduce.Job:  map 0% reduce 0%
2022-04-14 19:38:23,815 INFO mapreduce.Job:  map 100% reduce 0%
2022-04-14 19:38:27,858 INFO mapreduce.Job:  map 100% reduce 100%
2022-04-14 19:38:27,877 INFO mapreduce.Job: Job job_1649936194163_0002 completed successfully
......

执行过程可能会有点慢，但是，如果迟迟没有进度，比如5分钟都没看到进度变化，那么不妨重启Hadoop再次测试。若重启还不行，则很有可能是内存不足引起，建议增大虚拟机的内存，或者通过更改YARN的内存配置来解决。

在执行过程中，可以在Linux系统中打开浏览器，在地址栏输入“http://hadoop-master:8088/cluster”，通过Web界面查看任务进度，在Web界面点击 “Tracking UI” 这一列的History连接，可以看到任务的运行信息，如下图所示。image.png-148.8kB

执行完毕后的输出结果如下所示。

hadoop@hadoop-master:/usr/local/hadoop$ hdfs dfs -cat output/*
1	dfsadmin
1	dfs.replication
1	dfs.namenode.secondary.http
1	dfs.namenode.name.dir
1	dfs.datanode.data.dir

最后，关闭Hadoop集群，需要在Master节点执行如下命令：

stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver

至此，就顺利完成了Hadoop集群搭建。

本文参考：http://dblab.xmu.edu.cn/blog/2775-2/

退役小学生呀
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 12
    评论
Hadoop集群安装配置教程_Hadoop2.62
08-03
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS_给力星追逐内心的平和首页 (http://www.powerxing.com/
Hadoop集群安装及配置
m0_61364659的博客
10-13 7608
hadoop集群搭建
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
hadoop完全分布式搭建配置
weixin_51772064的博客
11-08 992
hadoop完全分布式搭建配置
hadoop集群安装及配置详细
lclchong的博客
07-28 4478
Hadoop集群的安装及其配置
搭建Hadoop分布式集群的详细教程
程序员小木的博客
03-26 2万+
本文包括VMware创建配置虚拟机的基本方法，Centos的安装与配置，Hadoop集群安装与配置方法
hadoop集群安装配置
10-29
hadoop在centos7.0超详细安装配置信息，自己总结的，绝对可用！
Hadoop集群安装配置教程-Hadoop2.6.0-Ubuntu-CentOS.docx
11-26
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu_CentOS.docxHadoop集群安装配置教程_Hadoop2.6.0_Ubuntu_CentOS.docx
Hadoop集群安装配置教程-Hadoop2.6.0-Ubuntu-CentOS.pdf
10-16
。。。
Hadoop系统应用之安装---Hadoop集群安装配置和详细搭建过程
m0_57464618的博客
03-09 1549
Hadoop集群安装配置和详细搭建过程
安装Hadoop集群（超详细！）
weixin_51981189的博客
10-10 4312
前面我写了一篇单机版的Hadoop安装，这里终于要装集群版，装集群版的步骤比较繁琐，需要同学们多加练习，因为我们不可能只装一次，经常出了问题就要重装，所以必须要练熟练。
尚硅谷hadoop3.x集群配置笔记及常见错误解决方式
m0_51404279的博客
10-24 4304
1.搭建集群准备工作 总体流程 准备3台客户机（关闭防火墙、静态IP、主机名称） 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群起并测试集群 一、模板虚拟机的搭建 配置要求：IP地址192.168.10.100**、主机名称hadoop100、内存4G、**硬盘50G（内存硬盘大小根据电脑配置自行更改） 关于是否安装桌面：未安装桌面的版本需要要执行以下命令,用于配置工具包集合，包含ifconfig等命令以及软件...
Hadoop完全分布式集群的搭建及配置
m0_73971893的博客
03-04 753
Hadoop搭建
Hadoop集群的配置
qq_54542910的博客
10-19 5051
Hadoop集群的配置，克隆机的配置，免密登录，启动集群等
集群配置，hadoop配置过程，细节满满
z2839的博客
03-21 1679
(2)如果你的集群虚拟机已经都创建完成，且确保网络，ssh密钥登陆 都做好了后，就可以开始安装jdk和hadoop了。/usr/local/src/hadoop/etc/hadoop 中的对应配置文件中加入下面的相关参数。这一步是集群配置的关键。做一个hadoop的配置流程的全记录，把遇到的问题和细节全都记录了下来。选择下载hadoop的版本，下载对应版本的source安装包。进入安装目录，修改对应安装包文件名，改成jdk，hadoop。(1) hadoop的部署规划，我使用3台虚假机搭建集群，
Hadoop集群搭建安装教程（详细完整）
zhang_232的专栏
11-21 2686
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。
Hadoop集群搭建详细教程
最新发布
m0_65029172的博客
07-27 3298
Hadoop集群搭建详细教程
Hadoop分布式集群安装配置步骤
煉心的博客
02-07 2029
之前介绍过Hadoop伪分布式模式的安装配置步骤，现在记录一下分布式集群的安装配置步骤，本文使用3台测试服务器，下面是各服务器的角色：   - node1：NameNode, SecondaryNameNode, DataNode, NodeManager - node2：DataNode, NodeManager, ResourceManager - node3：DataNode, No
Hadoop2.61集群安装配置教程
yaooch的专栏
06-05 463
前言 当开始着手实践Hadoop时，安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有Hadoop安装配置教程，但由于对Linux环境不熟悉，书上跟官网上简略的安装步骤新手往往Hold不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。 本教程由厦门大学数据库实验室出品，转载请注明。本教程适合于原生Hadoop 2，包括H
hadoop集群搭建完整教程
03-21
Hadoop集群搭建教程非常详细，需要考虑很多因素，包括硬件、软件、网络等等。以下是一个简单的步骤： 1. 安装Java环境 2. 下载Hadoop并解压缩 3. 配置Hadoop环境变量 4. 配置Hadoop的核心文件 5. 配置Hadoop的HDFS...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值