hadoop分布式集群搭建，包含网络配置-hadoop3环境

最新推荐文章于 2024-09-30 22:24:45 发布
最新推荐文章于 2024-09-30 22:24:45 发布
阅读量900 收藏 5
点赞数 2
分类专栏： Hadoop 文章标签： hadoop完全分布 hadoop2 hadoop3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43736084/article/details/100019918
版权

先准备三台或者五台虚拟机（我这里写三台，实际我用的五台）

在安装centos时可以在选择（最小安装还是图形化界面处）有配置网络的，把网络先配置好，这样就不需要在重新配置了

先配置一台主机，后两台克隆即可，我这里搭建的主机用的图形化界面，从节点用的最小安装

ip和主机名
ip主机名
192.168.228.138chun1
192.168.228.139chun2
192.168.228.140chun3
把 ip 主机名 写到/etc/hosts里，这里是映射，用来关联你的另外的机器。

ip与主机名根据自己情况定义，下面会讲ip地址怎么

echo '192.168.228.138 chun1' >>/etc/hosts
echo '192.168.228.139 chun2' >>/etc/hosts
echo '192.168.228.140 chun2' >>/etc/hosts

在这里插入图片描述
把每台对应的ip和主机名改掉

1- 改ip 进入

[root@chun1 /]# cd /etc/sysconfig/network-scripts/

1.1 ls查看目录

在这里插入图片描述

可以看到 ifcig-ens33文件，centos6与7不同，有的是ifcfig-etho，配置是一样的。vi编译此文件，来修改主机ip地址
BOOTPROTO=static
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.228.138      //这是你的主机ip
NETMASK=255.255.255.0      //这是你的子网掩码
GATEWAY=192.168.228.3     //这是你的网关
DNS1=192.168.228.3             //第一个DNS1与网关相同
DNS2=114.114.114.114			//第二个用114.114.114
然后讲怎么配置ip，子网掩码，网关。

到VMware界面
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
到此网络基本配置好了

1.2-更改主机名

分别在对应IP的主机中修改主机名：vi /etc/hostname 把localhost改成你的主机名

2配置ssh免密登录：

原理很简单，先在每台机器上生成秘钥，ssh-keygen -t rsa，三次回车即可。然后把从节点/root/.ssh/id_rsa.pub发给主机，并改名，要不然会被覆盖
在chun2上执行：scp /root/.ssh/id_rsa.pub root@chun1:/root/.ssh/id_rsa.pub002
在chun3上执行：scp /root/.ssh/id rsa.pub root@chun1:/root/.ssh/id_rsa.pub003
然后在chun1中把三个id_rsa.pub加入到authorized_keys里
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub002 >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub003 >> /root/.ssh/authorized_keys
然后把authorized_keys发给chun2，chun3，就可以实现三台互通
scp /root/.ssh/authorized_keys root@chun2:/root/.ssh/authorized_keys
scp /root/.ssh/authorized_keys root@chun3:/root/.ssh/authorized_keys
测试 --退出用exit

测试

以下安装都是在master（chun1）上安装之后在发送

3.安装JDK

下载jdk1.8.0，官网下载即可，下载后解压，配置环境变量就行。（下载解压就不讲了）
我这里放在了/usr/local/java下java目录自己创建的

mkdir /usr/local/java

配置环境变量

vi /etc/profile
#在最后加上
 
#JAVA
JAVA_HOME=/usr/local/java/jdk1.8.0_221   #解压后的jdk目录名称
JRE_JOME=/usr/local/java/jdk1.8.0_221/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_JOME CLASS_PATH PATH

刷新环境变量

source /etc/profile

测试输入java -version，java，javac分别查看，出来很多内容即是成功

[root@chun1 ~]# java -version
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)

4.安装hadoop 这里用的2.7.7 ，暂时别用3和2.8.5，后面配置hbase会出现不兼容问题。详情见我的hbase搭建。

我这里官方下载的2.7.7下载bin类型。下载后解压到/usr/loacl/hadoophadoop为自己创建的文件夹

tar -zxf hadoop-2.7.7.tar.gz -C /usr/local/hadoop/

配置环境变量

#HADOOP
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#zookeeper
export ZOOKEEPER_PREFIX=/usr/local/zookeeper/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin

刷新环境变量

source /etc/profile

进行测试是否成功

[root@chun1 ~]# hadoop version
Hadoop 2.7.7
Subversion Unknown -r c1aad84bd27cd79c3d1a7dd58202a8c3ee1ed3ac
Compiled by stevel on 2018-07-18T22:47Z
Compiled with protoc 2.5.0
From source with checksum 792e15d20b12c74bd6f19a1fb886490
This command was run using /usr/local/hadoop/hadoop-2.7.7/share/hadoop/common/hadoop-common-2.7.7.jar

5.配置Hadoop

创建目录

#在/usr/local/hadoop目录下创建目录
cd /usr/local/hadoop/
mkdir tmp     
mkdir var  
mkdir dfs  
mkdir dfs/name  
mkdir dfs/data
修改配置文件

进入hadoop-2.7.7/etc/hadoop下

cd /usr/local/hadoop/hadoop-3.7.7/etc/hadoop

（1) hadoop-env.sh

在#  JAVA_HOME=/usr/java/testing hdfs dfs -ls一行下面添加如下代码
export JAVA_HOME=/usr/local/java/jdk1.8.0_221
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.7
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

（2）修改slaves，把从节点名字写进去，删除localhost，hadoop3是修改workers。

chun2
chun3
下面在各个文件的< configuration> < /configuration>中添加

（3）修改core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.228.138:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

（4）hdfs-site.xml

<property>
   <name>dfs.name.dir</name>
   <value>/usr/local/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/usr/local/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>192.168.228.138:50070</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.228.138:50090</value>
</property>
<property>
   <name>dfs.replication</name>
   <value>4</value>
</property> 
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

（5）mapred-site.xml

<property>
    <name>mapred.job.tracker</name>
    <value>chun1:49001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/usr/local/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

（6） yarn-site.xml

在命令行输入 hadoop classpath,把得到的内容复制到下面

[root@chun1 ~]# hadoop classpath
/usr/local/hadoop/hadoop-2.7.7/etc/hadoop:/usr/local/hadoop/hadoop-2.7.7/share/hadoop/common/lib/*:/usr/local/hadoop/hadoop-2.7.7/share/hadoop/common/*:/usr/local/hadoop/hadoop-2.7.7/share/hadoop/hdfs:/usr/local/hadoop/hadoop-2.7.7/share/hadoop/hdfs/lib/*:/usr/local/hadoop/hadoop-2.7.7/share/hadoop/hdfs/*:/usr/local/hadoop/hadoop-2.7.7/share/hadoop/yarn/lib/*:/usr/local/hadoop/hadoop-2.7.7/share/hadoop/yarn/*:/usr/local/hadoop/hadoop-2.7.7/share/hadoop/mapreduce/lib/*:/usr/local/hadoop/hadoop-2.7.7/share/hadoop/mapreduce/*:/usr/local/hadoop/hadoop-2.7.7/contrib/capacity-scheduler/*.jar


<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.application.classpath</name>
<value>输入刚才返回的Hadoop classpath路径</value>     //这里借鉴了别人的
</property>

到此配置基本结束，然后同步给另外两台虚拟机

scp -r /usr/local/java chun2:/usr/local/java
scp -r /usr/local/hadoop chun2:/usr/local/hadoop
scp -r /etc/profile chun2:/etc/
 
scp -r /usr/local/java chun3:/usr/local/java
scp -r /usr/local/hadoop chun3:/usr/local/hadoop
scp -r /etc/profile chun3:/etc/
这里有个问题就是如果你的另外虚拟机local下有hadoop文件夹和java文件夹，他会放到你的java或者hadoop下，导致你的目录会又多了一层。可以这样解决,或者简单粗暴直接删除原来的文件夹:
进入到local下 使用命令scp hadoop/ chun2:$PWD 这样进行传输，会覆盖掉。PWD表示当前你所进入的目录

然后刷新两个从节点环境变量

ssh chun2
source /etc/profile

ssh chun3
source /etc/profile

格式化节点

在主节点上执行

hdfs namenode -format

运行之后不报错，并在倒数第五六行有successfully即为格式化节点成功

启动hadoop集群的服务

start-all.sh

输入jps可以查看进程

chun1上会有namenode
在这里插入图片描述
chun2、chun3上有datanode
在这里插入图片描述

在浏览器上访问192.168.228.138：50070 查看hdfs的web界面（前面是主节点的ip后面是端口）

在这里插入图片描述

查看yarn的web端

在这里插入图片描述

春_
关注
专栏目录
《Hadoop 3》--完全分布式集群的搭建
yk_3215123的博客
03-25 426
一、完全分布式集群的安装步骤 准备工作： 三个主机 master,slave1,slave2 主机上的普通用户都是hyxy 管理目录~/apps/ master 192.168....
hadoop3.1.3分布式集群搭建
weixin_47303949的博客
07-31 380
环境准备： jdk1.8 centos6.10 zookeeper3.4.5 三台服务器免密登录配置完成(此处省略步骤) 1、上传Hadoop3.1.3安装包并解压 这里我是安装在/usr/local 这个路径下 解压：tar -zxvf /usr/local/hadoop-3.1.3.tar.gz 2、首先提前创建好需要的文件夹 mkdir -p /usr/local/hadoop/data mkdir -p /usr/local/hadoop/dfs mkdir -p /usr/local/hadoo
hadoop3 完全分布式集群搭建（一）
吉他程序员的博客
11-15 866
基础概念 1. NameNode 存储文件的元数据。如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和所在的DataNode等。 2. DataNode 具体存储文件块数据，以及数据块校验和。 3. Secondary NameNode(2nn) 每隔一段时间对NameNode元数据备份。 4. ResourceManager 管理整个集群的资源（内存，cpu等）。 5. NodeManager 管理单个节点的资源（内存，cpu等）。 开始搭建
环境搭建--Hadoop完全分布式
weixin_53545333的博客
09-30 1716
Hadoop的完全分布式安装
搭建Hadoop3.x分布式集群
weixin_45186532的博客
01-21 363
如今Hadoop已经升级为第3个大版本，相比Hadoop2.x，Hadoop3.x没有在架构上进行大的改动，而是提高了系统的可扩展性和资源利用率上，因此，Hadoop3.x有更高的性能、更强的容错能力和更高效的数据处理能力。到现在为止Hadoop最新的版本为3.3.4，可以在官网进行下载，下面演示使用三台主机搭建集群模式，三台主机的主机名依次为master、slave1和slave2，并且全部使用root用户。
原生HADOOP3.x分布式集群搭建
greenhand_xiao的博客
07-08 362
原生HADOOP3.X分布式集群搭建
Hadoop分布式集群搭建（完整版）
web15285868498的博客
06-05 790
VMware和Centos7下载安装教程：https://blog.csdn.net/m0_59209350/article/details/117793482XShell和Xftp下载安装教程：https://blog.csdn.net/m0_59209350/article/details/117877235安装一台虚拟机作为模板：IP地址：192.168.10.100主机名：hadoop100内存：4G硬盘：50G对安装好的VMware进行网络配置，方便虚拟机联网，本次设置选择NAT模式，需要宿主机的
Hadoop分布式集群搭建
最新发布
10-28
Hadoop
Hadoop分布式集群搭建以及案例运行-fs操作
热门推荐
OnTheRoad的博客
02-06 1万+
Hadoop分布式集群搭建案例步骤(也可以叫分布式文件系统)一：创建分布式集群环境二：设置静态ip以及主机名与映射关系三：创建用户、配置SSH无密登录四：子机dn操作五：配置主机jdk、hadoop的环境以及hadoop文件六：打包、远程传输至子机七：启动hadoop集群以及运行案例基于hadoop的整体分布式模块交互 1）分布式系统的定义  把数据放到一个服务器集群上面，分为：主控服务器（Mas...
hadoop 分布式集群搭建
01-26
Hadoop分布式集群搭建的知识点包括以下几个主要方面： 1. 环境准备与组件安装： - 首先，需要准备一个网络中各个节点之间能够通信的环境，确保集群中的每台计算机都能够通过SSH无密码登录，这对于集群中的各个服务...
Hadoop分布式集群搭建所需安装包资源
09-01
在构建Hadoop分布式集群的过程中，有两个关键的组件是必不可少的：Java开发工具包（JDK）和Hadoop发行版。本资源包包含了这两个组件的安装文件，分别是`jdk-8u171-linux-x64.tar.gz`和`hadoop-2.7.5.tar.gz`，它们...
大数据学习——Hadoop3.X集群完全分布式的搭建（超详细）
junR_980218的博客
04-02 3939
提示：避雷Hadoop集群搭建的各种坑！ 文章目录前言一、基础环境的下载二、基础环境安装jdk安装与环境配置2.hadoop安装总结 前言 提示：不是小白你别来！ 提示：以下是本篇文章正文内容，下面案例可供参考 一、基础环境的下载 1: 系统环境 Ubuntu18.04 2: jdk1.8.0_321 下载地址 链接：https://pan.baidu.com/s/1hvGmAISZTVRRTVhLOilYrw 提取码：9802 3: hadoop-3.3.0 下载地址 链接：https://pan.
Hadoop3 - 集群搭建
小毕超博客
10-04 1941
集群启动有两种方式，一种是在每台主机中启动相应的组件，另一种 hadoop 为我们提供了一键启停脚本，前提是配置好机器之间的SSH免密登录和workers文件。访问地址：http://resourcemanager_host:8088。访问地址：http://namenode_host:9870。集群，两者逻辑上分离，但物理上常在一起。进行了简单的介绍，并搭建了单机版的。，本篇文章继续搭建集群版本的。三台主机需具备 Java 环境。下面准备在三台服务器上安装。
Hadoop3集群搭建
识途老码
01-10 1159
Hadoop集群搭建
Hadoop集群搭建——环境配置
he_321的博客
11-15 522
一、集群搭建注意问题说明 1、此处集群环境搭建我使用了三台主机进行模拟，分别为： hadoop-series.bxp.com hadoop-series1.bxp.com hadoop-series2.bxp.com 2、集群搭建前需要注意的问题： （1）集群中的节点的用户名登陆名和密码应当保持一致。 （2）hadoop和jdk的安装目录应当保持一致。 以上保持一致不是必须的，只是
hadoop安装前的网络环境配置
hdhejejejw的博客
11-10 2472
1.1网络配置 对安装好的 VMware 进行网络配置，方便虚拟机连接网络，本次设置建议选择 NAT 模 式，需要宿主机的 Windows 和虚拟机的 Linux 能够进行网络连接，同时虚拟机的 Linux 可 以通过宿主机的 Windows 进入互联网。 1.1.1 编辑 VMware 的网络配置 然后全部点击确定，VMware 的网络配置就好了。 1.1.2 Windows 的网络配置 以下以 Window10 为例 按如上格式修改 IP 信息（地址，网关，DNS 服务器...
hadoop2.5.1集群部署（完全分布式）
12-09 8243
hadoop2.5完全分布式 环境介绍： 环境介绍：3台虚拟机安装centos6.464位、jdk1.7 64位、hadoop2.5.1 64位   主机配置规划 1． 修改主机名和/etc/hosts文件 1）修改主机名（非必要） vi /etc/sysconfig/network HOSTNAME=m1 重启后生效。 2）/etc/hosts是ip地址和其
Hadoop集群搭建（一：集群安装及网络环境配置）
Eyeshot的博客
05-26 1914
实验目的及要求 完成VMware workstations安装，会应用相关操作； 完成虚拟机中Linux CentOS 7操作系统安装； 完成静态网络地址的配置，所有主机的网络能够正常使用，相互之间能够正常连接； 完成主机名配置，正确设定永久有效的主机名； 实验环境： VMware Workstations 14虚拟机 Linux CentOS 7操作系统 实验内容： 1、安装VMw...
Linux：Hadoop3.2.1环境搭建（单机模式）
Yal_insist的博客
03-29 3414
Hadoop3.2.1环境搭建（单机模式）
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值