Hadoop全分布式集群搭建教程

最新推荐文章于 2024-05-14 12:17:55 发布
最新推荐文章于 2024-05-14 12:17:55 发布
阅读量648 收藏 5
点赞数 1
分类专栏： 分布式hadoop集群搭建 文章标签： hadoop集群安装 hadoop基础 hadoop集群配置 伪分布式集群搭建hadoop hadoop伪分布式集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44161678/article/details/85850810
版权

Hadoop集群搭建教程

1.需求

需求： jdk安装包、
Hadoop安装包

2.先创建一台虚拟机

       过程就不演示了

3.关闭防火墙

	1）查看防火墙 service iptables status
	2）关闭防火墙 （临时）service iptables stop
	3）关闭防护墙 （永久）chkconfig iptables off
	注：永久关闭防火墙需要重启（重启命令 ：init 6）

4.修改ip地址

4.1.修改ip命令
在这里插入图片描述
4.2.看看有没有ip地址
在这里插入图片描述
4.3.看看有没有（这里“#”是注释）以下没有的加上 IP自己设置

*#网卡名称
DEVICE=eth0
#类型
TYPE=Ethernet
#唯一标识
UUID=8844c7b1-4962-4020-9b01-6dff388fc44c
#开机自动启用网络连接
ONBOOT=yes
#network manager的参数是否可以由Network Manager托管
NM_CONTROLLED=yes
#none禁止DHCP,static启用静态IP地址，dhcp开启DHCP服务
BOOTPROTO=none
#IP地址
IPADDR=192.168.80.101
#子网掩码
NETMASK=255.255.255.0
#子网掩码24位
PREFIX=24
#设置网关
GATEWAY=192.168.80.2
IPV4_FAILURE_FATAL=yes
#禁止IPV6
IPV6INIT=no
DNS1=192.168.80.2
DEFROUTE=yes
NAME="System eth0"
HWADDR=00:0C:29:59:F5:71*

4.4.要是没网的话就看以下设置
在自己win下网络设置找到自己虚拟机的网络点击属性
在这里插入图片描述
双击Internet协议版本4设置
在这里插入图片描述
4.5.看看是不是4个，完后输入ifconfig查看ip
在这里插入图片描述
查看ip
查看ip

5.配置hosts

配置命令： vi /etc/hosts
在这里插入图片描述

6.克隆

1）根据主机克隆2台虚拟机
2）修改2台辅机的ip 和 mac地址 （命令： vi /etc/sysconfig/network-scripts/ifcfg-eth0）
在这里插入图片描述
注：设置完看看这台虚拟机内能不能上网
3）修改2台辅机的主机名（命令： vi /etc/sysconfig/network）把HOSTNAME修改成这台机的主机名
注：修改完主机名重启才生效
4）ping www.baidu.com（看一下网络能正常使用不）

7.设置ssh免密登陆

1）.生成密匙（3台机都执行）

[root@net2 ~]# ssh-keygen -t rsa

2）.touch authorized_keys 创建 authorized_keys文件（需要进入 .ssh目录

）

第一台机

进入 .ssh目录

[root@net1 ~]# cd /root/.ssh/

创建公匙 （authorized_keys）

[root@net1 .ssh]# touch authorized_keys

把密码写入 公匙 中

[root@net1 .ssh]# cat id_rsa.pub >> authorized_keys

把authorized_keys文件发送到（net2【写IP地址也行】）另一台虚拟机中

[root@net1 .ssh]# scp authorized_keys net2:/root/.ssh/
The authenticity of host 'net2 (192.168.80.98)' can't be established.
RSA key fingerprint is 8f:90:02:e7:96:b1:40:90:8c:05:bf:74:63:04:37:da.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'net2,192.168.80.98' (RSA) to the list of known hosts.
root@net2's password: 
authorized_ 100%  391     0.4KB/s   00:00    
[root@net1 .ssh]#（到这就发送成功了）

第二台机

进入 .ssh目录

[root@net2 ~]# cd /root/.ssh

把密钥写入authorized_keys

[root@net2 .ssh]# cat id_rsa.pub >> authorized_keys

把authorized_keys发送到第三台机中

[root@net2 .ssh]# scp authorized_keys net3:/root/.ssh/
The authenticity of host 'net3 (192.168.80.99)' can't be established.
RSA key fingerprint is 8f:90:02:e7:96:b1:40:90:8c:05:bf:74:63:04:37:da.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'net3,192.168.80.99' (RSA) to the list of known hosts.
root@net3's password: 
authorized_ 100%  782     0.8KB/s   00:00    
[root@net2 .ssh]#（到这就发送成功了）

第三台机

进入 .ssh目录

[root@net3 ~]# cd /root/.ssh

把密钥写入authorized_keys

[root@net3 .ssh]# cat id_rsa.pub >> authorized_keys

把authorized_keys写入net1和net2两台机中

[root@net3 .ssh]# scp authorized_keys net1:/root/.ssh/
The authenticity of host 'net1 (192.168.80.97)' can't be established.
RSA key fingerprint is 8f:90:02:e7:96:b1:40:90:8c:05:bf:74:63:04:37:da.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'net1,192.168.80.97' (RSA) to the list of known hosts.
root@net1's password: 
authorized_ 100% 1173     1.2KB/s   00:00    
[root@net3 .ssh]#（到这就发送完了）

[root@net3 .ssh]# scp authorized_keys net2:/root/.ssh/
 The authenticity of host 'net2 (192.168.80.98)' can't be established.
RSA key fingerprint is 8f:90:02:e7:96:b1:40:90:8c:05:bf:74:63:04:37:da.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'net2,192.168.80.98' (RSA) to the list of known hosts.
root@net2's password: 
authorized_ 100% 1173     1.2KB/s   00:00
[root@net3 .ssh]#（到这就发送完了）

好了就用第一台机执行ssh net2
[root@net1 .ssh]# ssh net2（同时也试一下ssh net3）
在这里插入图片描述

8.解压hadoop和jdk

1）.这个是我习惯安装的位置你们可以安装自己的习惯安装

[root@net1 ~]# cd /home
[root@net1 home]# mkdir soft
[root@net1 home]# cd soft
[root@net1 soft]# mkdir hadoop
[root@net1 soft]# mkdir JDK

2）.我们要上传文件运行命令：yum install lrzsz

[root@net1 soft]# yum install lrzsz

完后输入rz直接回车

[root@net1 hadoop]# rz
[root@net1 JDK]# rz

在这里插入图片描述
开始解压hadoop和jdk

[root@net1 hadoop]# tar -zxvf hadoop-2.8.5.tar.gz
[root@net1 JDK]# tar -zxvf jdk-8u191-linux-x64.tar.gz

9.配置Hadoop和jdk环境变量

[root@net1 JDK]# vi /etc/profile

找到最后一行写入
在这里插入图片描述
重新刷新下文件加载进去

[root@net1 JDK]# source /etc/profile

完后输入java或者输入hadoop测试一下能用不

[root@net1 JDK]# java
[root@net1 JDK]# hadoop

到这就配置完成了net1的hadoop和jdk

10配置Hadoop配置文件

[root@net1 home]# cd /home/soft/hadoop/hadoop-2.8.5/etc/hadoop/
[root@net1 hadoop]# ll

在这里插入图片描述
1.配置core-site.xml

[root@net1 hadoop]# vi core-site.xml 

<!--在<configuration></configuration>中写入以下配置-->

<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/soft/tmp</value>
</property>

2.配置hadoop-env.sh

[root@net1 hadoop]# vi hadoop-env.sh

把JAVA_HOME修改成以下配置
export JAVA_HOME="/home/soft/JDK/jdk1.8.0_191"
3.配置hdfs-site.xml

[root@net1 hadoop]# vi hdfs-site.xml

<!--在<configuration></configuration>中写入以下配置-->

<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/soft/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/soft/data</value>
</property>
<property>
        <name>fs.checkpoint.dir</name>
        <value>file:///home/soft/cname</value>
</property>
<property>
        <name>fs.checkpoint.edits.dir</name>
        <value>file:///home/soft/cname</value>
</property>
<property>
   <name>dfs.http.address</name>
   <value>net1:50070</value>
</property>
<property>
   <name>dfs.secondary.http.address</name>
   <value>net2:50090</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

4.配置yarn-site.xml

[root@net1 hadoop]# vi yarn-site.xml



 <!--在<configuration></configuration>中写入以下配置-->

<property>
<name>yarn.resourcemanager.hostname</name>
<value>net1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>net1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>net1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>net1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>net1:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>net1:8088</value>
</property>

5.配置slaves

[root@net1 hadoop]# vi slaves

net1
net2
net3

6.配置mapred-site.xml

[root@net1 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@net1 hadoop]# vi mapred-site.xml

<!--在<configuration></configuration>中写入以下配置-->

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
	<final>true</final>
</property>
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>net1:10020</value>
</property>
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>net1:19888</value>
</property>

net2和net3的hadoop可以把第一台的发送过去不用在一台一台配置
1.发送到net2

[root@net1 home]# scp -r soft net2:/home/

2.发送到net3

[root@net1 home]# scp -r soft net3:/home/

3.在进行配置net2和net3的环境变量就好了

11.开启hadoop

1）. 第一次加载先格式化（第二次直接开启就行了）

[root@net1 home]# hdfs namenode -format

2）. 开启hadoop

[root@net1 home]# start-all.sh

3）. 进行输入jps测试
以下三台机出现的节点，就表示成功了

[root@net1 home]# jps
3185 NameNode
3316 DataNode
3558 ResourceManager
3975 Jps
3657 NodeManager
[root@net1 home]# ssh net2
Last login: Sun Jan  6 00:12:53 2019 from net1
[root@net2 ~]# jps
3088 SecondaryNameNode
2998 DataNode
3302 Jps
3159 NodeManager
[root@net2 ~]# ssh net3
Last login: Sun Jan  6 00:16:27 2019 from net1
[root@net3 ~]# jps
3476 Jps
3332 NodeManager
3237 DataNode
[root@net3 ~]#

4.完后进行网页测试
在网站上输入 http://192.168.80.97:50070 进入（如果节点全部起来，网页打不开，查看下防火墙关了没有）
注：这里的IP是你们主机自己设置的IP号（这是我的IP号:192.168.80.97）
在这里插入图片描述
在网站上输入 http://192.168.80.97:8088 进入
在这里插入图片描述

thy的博客
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群环境配置及安装配置（详细过程包含安装包）
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
Hadoop集群部署-完全分布式
礁之的博客
08-11 743
Hadoop是一个用于处理大规模数据集的分布式计算框架，它的设计目标是能够在低成本硬件上进行可靠和高性能的数据存储和处理，从而使企业能够从大数据中获得价值。ZooKeeper是一个开源的分布式协调服务，用于管理和协调大规模分布式系统中的配置、状态、命名等信息。
2024年最新搭建简易的hadoop集群(完全分布式)，精选大数据开发面试真题集锦
最新发布
2401_84167086的博客
05-14 738
init 0点击完成，克隆成功完成后如下图配置克隆的网络文件su - root密码是root保存退出rebootsu - root保存退出reboot启动hadoop102确保3台节点启动成功打开xshell，新建两个会话点击确定点击确定选中3个会话，点击连接弹出如下提示，输入yes即可。
Hadoop集群搭建详细教程
m0_65029172的博客
07-27 3598
Hadoop集群搭建详细教程
安装部署Hadoop分布式集群
qq_61203814的博客
03-28 309
（4）HadoopSlave02下使用命令：ll, 查看hadoop-3.3.0是否复制到hadoop@HadoopSlave02:/home/hadoop/software/下。（2）使用命令：vim hadoop-env.sh 进入hadoop-env.sh下添加。（1）进入/home/hadoop/hadoop-3.3.0/etc/hadoop目录下。（1）进入/home/hadoop/hadoop-3.3.0/etc/hadoop路径下。
Hadoop3.3.1分布式集群搭建详细教程
忘三日的博客
02-24 2587
Hadoop3.3.1分布式集群搭建详细教程，简单零基础一站式搭建
hadoop完全分布式集群搭建
09-24
hadoop完全分布式集群搭建
hadoop2.8分布式集群搭建详细图文教程
07-24
hadoop2.8.1分布式集群搭建，有详细的图文，只要按照操作一步步的来，基本上都能完成搭建
hadoop全分布式集群配置
06-14
Hadoop实现了一个分布式文件系统...本课程讲解搭建hadoop集群的全过程,从安装vmware,centos开始,从本地模式,伪分布式到全分布式,讲解实现经典案例wordcount结束,全方位讲解hadoop的操作细节,带你完成hadoop的安装和入门
Hadoop集群部署和启动与关闭_启动hadoop
2401_84181704的博客
04-11 1184
自定义配置文件，这些文件基本没有任何配置内容，存在于Hadoop安装目录下的etc/hadoop/目录中，包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等，开发人员可以根据实际需求进行修改，Hadoop会优先选择自定义配置文件中的参数。为了提高Hadoop集群的高可用性，通常使用ZooKeeper为Hadoop集群提供自动故障转移和数据一致性服务。完成系统环境变量文件profile配置后保存退出，不过此时配置内容尚未生效，还需要执行“
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181626的博客
04-11 1021
2048reduces的资源限制。
大数据技术之hadoop——（三）完全分布式集群搭建（多图详细步骤）
m0_46615073的博客
08-09 2476
大数据技术之hadoop，最详细从零搭建hadoop完全分布式集群 多图 丝丝入扣循序渐进 虚拟的克隆-->jdk、hadoop的安装与环境变量的配置 my_env.sh--->同步分发脚本---> xsync集群分发脚本--->SSH免密登录----->集群部署 集群规划 +hadoop配置文件的修改--->启动集群 -->集群测试
Hadoop完全分布式集群搭建（超详细）
qq_52868045的博客
11-22 5276
hadoop完全分布式，超详细的部署步骤。
Hadoop完全分布式集群搭建详细图文教程
热门推荐
This is Yunis's blog!
08-21 1万+
本文所使用的环境及版本： CentOS Linux release 7.9.2009 (Core) jdk1.8.0_291 hadoop-3.2.2 一、安装模板机 1、安装CentOS 7.9并配置网络 注意：在安装虚拟机时建议分配50G以上的磁盘容量，避免后期磁盘不够用需手动扩容的麻烦 关于CentOS 7.X 的安装参照这篇文章：VMware安装CentOS 7.8详细图文教程（含网络配置） 2、安装 epel-release 注：Extra Packages for Enterprise.
Hadoop分布式集群搭建（完整版）
web15285868498的博客
06-05 743
VMware和Centos7下载安装教程：https://blog.csdn.net/m0_59209350/article/details/117793482XShell和Xftp下载安装教程：https://blog.csdn.net/m0_59209350/article/details/117877235安装一台虚拟机作为模板：IP地址：192.168.10.100主机名：hadoop100内存：4G硬盘：50G对安装好的VMware进行网络配置，方便虚拟机联网，本次设置选择NAT模式，需要宿主机的
超详细的hadoop完全分布式集群的搭建
programmer_trip的博客
06-05 3957
HDFS (hadoop distributed file system) : hadoop分布式文件系统 环境: 这是学习使用的,因为用虚拟机,通过root用户进行搭建 一.创建一个虚拟机 had01 ,网络连接方式均为NAT模式 搭建步骤: 首先创建一个hdp01
Hadoop完全分布式搭建教程（完整版）
小赵同学€的博客
03-19 4948
Hadoop完全分布式搭建流程（完整版）适合初学者参考！！！ 基于Linux的大数据Hadoop集群搭建！
Hadoop完全分布式集群搭建
qq_64451048的博客
04-13 2108
Hadoop完全分布式集群搭建
VmWare中Hadoop2.6.5全分布式集群搭建教程
"Hadoop2.6.5全分布式集群搭建" 在本文中，我们将探讨如何在VmWare虚拟环境中搭建一个基于Hadoop 2.6.5版本的全分布式集群。Hadoop是一个开源的分布式计算框架，它允许在廉价硬件上处理和存储大量数据。Hadoop的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值