在虚拟机CentOs7中配置hadoop3.1.2完全分布式

最新推荐文章于 2022-09-06 17:08:16 发布
最新推荐文章于 2022-09-06 17:08:16 发布
阅读量730 收藏 2
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42741004/article/details/99414447
版权

准备工作

准备虚拟计算机软件-----VMware Workstation Pro

安装准备好的CentOs7镜像文件,选择安装带图形界面的版本,并配置好网络,保证能ping通www.baidu.com.
在这里插入图片描述

配置环境

安装vim

yum install vim

安装jdk

#先列出可以安装的jdk1.8版本
yum list java-1.8*

#选择版本安装jdk:注意：这里要选择devel版本，这个java-1.8.0-openjdk.x86_64版本有问题，会导致jps命令找不到
yum install java-1.8.0-openjdk-devel.x86_64 
#连续几次输入y表示接受就可以安装完成，可以测试是否成功
 java -version

然后配置jdk环境

vim /etc/profile
#在最下面加入以下代码

#set java environment

JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-3.b14.el6_9.x86_64
#这里的路径根据自己的不同版本进行修改

CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$PATH:$JAVA_HOME/bin

export JAVA_HOME CLASS_PATH PATH

克隆计算机

1.将要克隆的虚拟机关机，右键点击要克隆的虚拟机：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
克隆后的机器，与被克隆的机器，配置是一样的，但是ip是不同的。

#查看ip
ip addr

我的三台机器分别为:
master 192.168.140.130
slave1 192.168.140.129
slave2 192.168.140.131

配置静态Ip,否则ip可能会变动

vim /etc/sysconfig/network-scripts/ifcfg-ens33

将BOOTPROTO=dhcp改为BOOTPROTO=static

(启动类型，dhcp表示动态IP，static表示静态IP)

并在最下面加入以下内容

IPADDR=192.168.140.130 //这里是用ip addr得到的Ip

NETMASK=255.255.255.0

GATEWAY=192.168.183.2

DNS1=119.29.29.29

修改主机名

[root@localhost ~]# hostname                               #查看当前的 hostnmae

localhost

[root@localhost ~]# hostnamectl  set-hostname  master      #永久修改	hostname(立即生效）

[root@localhost ~]# hostname                                   # 检查修改

master

将主机名称改为master
将克隆的两个机器名称改为slave1和slave2

配置root用户ssh免密登录

1.1.master机，进入root模式,输入以下命令，然后3次快车键

ssh-keygen -t rsa

在这里插入图片描述
如上图所示,就表示生成了一个密码

2.将生成的密码拷贝到authorized_keys
并将其权限修改为0600

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

3.分别在slave1和slave2机创建目录

#root登录后
mkdir .ssh

4.复制公钥到slave1机（此处root@192.168.1.101 ，root是slave1的登录用户名，192.168.1.101是这台机子的Ip）

scp .ssh/authorized_keys root@192.168.140.129:~/.ssh/authorized_keys

然后输入slave1机子的密码，就大功告成了。

分别将公钥复制给三台机器,将主机和两个克隆机的ip都发送一份,再到两个克隆机上执行上面操作,都执行完毕后,再重新将下面的拷贝和权限再次运行一遍.

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

成功后可以实现三台机器互相免密登录,可以测试一下:

ssh 192.168.140.129

出现如图,则表示成功了
在这里插入图片描述

配置hadoop

配置hadoop,我选择的是hadoop3.1.2
1.下载hadoop,下载地址https://hadoop.apache.org/releases.html
2.上传到master主机,我上传到root/目录下
3…host配置，让可以通过主机名称来访问。

vim /etc/hosts
#修改完后 立即生效(如果出现command not found 忽略)

如图所示:我将hosts修改为如下:增加的2台机器,192.168.140.130 作为master主机,192.168.140.129作为slave1机器,192.168.140.131作为slave2机器.
在这里插入图片描述
4.复制这个配置到slave1,slave2机器

scp -r  /etc/hosts root@192.168.140.129:/etc/hosts/
scp -r  /etc/hosts root@192.168.140.131:/etc/hosts/

5.解压hadoop并配置

cd /root
tar -xvf hadoop-3.1.2
#生成软链接
ln -sf hadoop-3.1.2 hadooop
#配置环境
vim /etc/profile

在这里插入图片描述
还有一个地方要配置：

vim /root/hadooop/etc/hadoop/hadoop-env.sh

结尾处如图，加：export JAVA_HOME=/usr/lib/jvm/java地址
在这里插入图片描述
6.hadoop配置文件
先创建文件目录

mkdir /data/hdfs/tmp
mkdir /data/hdfs/var
mkdir /data/hdfs/logs
mkdir /data/hdfs/dfs
mkdir /data/hdfs/data
mkdir /data/hdfs/name
mkdir /data/hdfs/checkpoint
mkdir /data/hdfs/edits

cd /root/data/hadoop-3.1.2/etc/hadoop
依次修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及workers文件。

a.core-site.xml

<property>
<name>fs.checkpoint.period</name>
<value>3600</value>
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/data/hdfs/tmp</value>
</property>
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>

b.hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/data/hdfs/name</value>
</property>

<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/data/hdfs/data</value>
</property>

<property>
 <name>dfs.namenode.secondary.http-address</name>
  <value>master:50090</value>
</property>

<property>
 <name>dfs.namenode.http-address</name>
  <value>master:50070</value>
<description>
The address and the base port where the dfs namenode web ui will listen on.
If the port is 0 then the server will start on a free port.
 </description>
</property> 

<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>/data/hdfs/checkpoint</value>
</property>

<property>
 <name>dfs.namenode.checkpoint.edits.dir</name>
 <value>/data/hdfs/edits</value>
</property>

c.mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tarcker</name>
  <value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>

d.yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandle</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tarcker.address</name>
<value>master:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8040</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>

e.workers
在这里插入图片描述
分别在master,slave1和slave2上的workers中配置另外两台机器如图.

7.把master上配置好的hadoop复制到slave1机器 （每台机器上都要配置hadoop哦）

scp -r /root/hadoop-3.1.2 root@slave1:/root/
#还有环境变量
scp -r /etc/profile  root@slave1:etc/profile/

8.关掉防火墙

由于hadoop中的程序都是网络服务，需要监听端口，这些端口默认会被linux防火墙挡住。因此要把hadoop中的端口一个个打开，或者把防火墙关掉。由于都是内网，所以关掉就好了。

sudo firewall-cmd –state 查看防火墙状态 如果是running表示是开启的
sudo systemctl stop firewalld.service 关闭防火墙 再查看应该是not running 就是 已经关闭了。但在下一次开机时还会自启动，因此 sudo systemctl disable firewalld.service 禁止开机时防火墙自启。

9.启动hadoop

#先格式化(每台机器都做)
hdfs namenode –format

#如果环境变量没有配置好，则
cd /root/hadoop/sbin/
./start-all.sh

我的机子出现了错误：
在这里插入图片描述
分别编辑开始和关闭脚本
vim sbin/start-dfs.sh
vim sbin/stop-dfs.sh
在顶部空白处添加内容：
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

还有一个hdfs的错误，同理修改
vim sbin/start-yarn.sh
vim sbin/stop-yarn.sh

这里编辑好了之后，也要拷贝到slave1机器

cd  /root/hadoop/sbin/
scp -r start-dfs.sh root@slave1:/root/hadoop/sbin/
scp -r stop-dfs.sh root@slave1:/root/hadoop/sbin/
scp -r start-yarn.sh root@slave1:/root/hadoop/sbin/
scp -r stop-yarn.sh root@slave1:/root/hadoop/sbin/

#重新启动
./stop-all.sh
./start-all.sh
jps

master:

在这里插入图片描述
slave1和slave2:
在这里插入图片描述
如此就大功告成了。

测试：http://192.168.140.130:50070

在这里插入图片描述
附：hdfs的常用命令
在这里插入图片描述

注意：我之前在网上看到hdfs-site.xml的配置，里面有这样的配置：file:/data/hdfs/data，结果发现namenode一直启动不了

后面去查看日志：

cd /root/hadoop/logs
tail -f 100 hadoop-root-namenode-master.log

在这里插入图片描述
namenode格式化不成功。

修改后：/data/hdfs/data

重新格式化：hdfs namenode –format

重启就可以了

本文参考:https://www.cnblogs.com/zkj1204/p/11133498.html

LAllenKing
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hadoop-3.1.2安装包
04-04
这个对应的是给技术文章《Hadoop3伪分布式安装》上面需要的下载资源 https://blog.csdn.net/qq_25615395/article/details/89018823
centos7_hadoop3.1.2_hdfs配置（完整版）.docx
07-05
CentOS 7 下 Hadoop 3.1.2 HDFS 配置详解 本文档旨在详细介绍 CentOS 7 下 Hadoop 3.1.2 HDFS 的配置过程，包括安装 JDK、Hadoop、HDFS 的配置文件修改、HDFS 的单机版配置等。 一、安装 JDK 在 CentOS 7 中安装 ...
CentOS 7 中配置 Hadoop 3.1.2 完全分布式
nenguou04的博客
03-23 3619
首先送上整个配置流程的思维导图 1. 配置 hosts、hostname 我这边有 1 个 master 主机，2 个 slave 主机， 3 台主机的 hosts 配置文件如下 [root@master .ssh]$ cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdom...
Centos7 单机版搭建Hadoop3.1.2
qq_37497275的博客
10-08 798
1.我在vmware里面安装的centos7 2.搭建Hadoop单机 创建一个hadoop用户 创建好了hadoop用户，如果你只是测试其实用root也可以，主要是害怕root删除其他的一些东西 创建hadoop文件目录 mkdir /usr/local/hadoop/tmp mkdir /usr/local/hadoop/hdfs/name mkdir /usr/local/h...
在centos7上进行hadoop-3.1.2的伪分布搭建
Sun's Blog
12-02 407
第一步：配置网络（静态IP） vi /etc/sysconfig/network-scripts/ifcfg-ens33（网卡名称可能不同） 1. 修改： 将该配置文件中的ONBOOT=no修改为yes（网络开机自启） 将BOOTPROTO=dhcp修改为static（将ip设置为静态ip） 2. 为了能够通过外部访问到虚拟机，增加： IPADDR=192.168.1...
Hadoop（三）之实验一CentOS7配置Hadoop系统：安装 Hadoop3.1.2
sandalphon4869的博客
11-04 847
文章目录6.安装 Hadoop3.1.2（1）修改配置文件 core-site.xml（2）修改配置文件 hdfs-site.xml（3）修改配置文件 mapred-site.xml（4）修改配置文件 capacity-scheduler.xml（5）修改配置文件 yarn-site.xml（6）编辑 start-dfs.sh，stop-dfs.sh 脚本（7）编辑 start-yarn.sh，s...
centos6.8下hadoop3.1.1完全分布式安装指南(推荐)
09-14
主要介绍了centos6.8下hadoop3.1.1完全分布式安装指南,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
Centos 7 zookeeper 3.1.4 + hadoop 3.1.2+Hbase 2.1.3完全分布式+高可用（HA）
01-07
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：... 一、 环境说明 主机名 Zookeeper ...(QuorumPeerMain) ...Controller
hadoop3.1.2 centos7
最新发布
05-21
下面将详细介绍Hadoop、其3.1.2版本的特点以及在CentOS 7上的安装和配置步骤。 Hadoop是由Apache软件基金会开发的分布式计算系统，它的设计目标是处理和存储海量数据。Hadoop的核心包括两个主要组件：Hadoop ...
CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍
08-27
### CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置知识点 #### 一、系统环境准备 **1.1 修改主机名** 为了确保主机名的一致性，首先需要更改主机名为“Master”： ```bash sudo vim /etc/sysconfig/...
centos7+hadoop3.1.2完全分布式集群搭建
weixin_43824520的博客
09-06 685
hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.252.31 mini1 192.168.252.3...
linux centos7下Hadoop3.1.2配置和启动记录
jquery_learn的博客
09-06 2188
Hadoop发布与启动
服务器centos7伪分布部署hadoop3.1.2
matthew_leung的博客
10-13 1412
为了毕业，我使用一台腾讯云的服务器部署hadoop进行开发。 系统：CentOS Linux release 7.7.1908 (Core) hadoop版本：hadoop-3.1.2.tar.gz 1、首先，我们必须要有java环境，java版本1.8（向上兼容到了j10）。同时要将java配置进环境变量中 [root@shengxi ~]# java -version openjdk...
明明白白的CentOS 7 中配置 Hadoop 3.1.2 完全分布式
fall_hat的博客
01-02 112
https://juejin.im/post/5c9643c05188252d805c77fa
Hadoop完全分布式集群搭建（2.9.0）
热门推荐
sjmz30071360的专栏
04-12 1万+
1. 集群搭建形式Hadoop环境搭建分为三种形式：单机模式、伪分布式模式、完全分布模式单机模式—— 在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。伪分布式—— 也是在一台单机上运行，但不同的是Java进程模仿分布式运行中的各类节点。即一台机器上，既当NameNode，又当DataNode，或者说既是JobTracker又是TaskTracker。没有所谓的在多台机器上...
centos7.5+hadoop3.1.2实战图文攻略--2019持续更新
weixin_34205826的博客
03-02 117
一、单机部署HADOOP：（非分布式） 1、环境准备 （1）虚拟内存dd if=/dev/zero of=swap bs=1M count=2048mkswap swapswapon swapchmod 0600 swap （2）本地解析文件 vim /etc/hosts 192.168.100.1 server 2、安装HADOOP，配置JAVA环境 yum install java-1....
CentOS7虚拟机实现Hadoop3.0分布式集群安装
qq_34885184的博客
08-07 451
虚拟机环境配置 静态IP配置 主机名设置 hosts文件配置 防火墙 ssh免密码登陆 jdk 安装
搭建Hadoop3.1.2伪分布方式环境
哈
11-26 830
文章目录0、准备工作：为Hadoop配置环境变量1、启动HDFS运行MapReduce1）配置集群2）启动集群3）查看集群2、启动YARN运行MapReduce1）配置集群2）启动集群3）查看集群3、配置历史服务器1）配置集群2）启动集群3）查看集群4、配置日志聚集1）配置集群2）启动集群3）查看集群 0、准备工作：为Hadoop配置环境变量 切换root用户，编辑/etc/profile ...
CentOS 7中Hadoop完全分布式搭建教程与网络配置详解
本文档详细介绍了在 CentOS 7 的虚拟环境中搭建 Hadoop 集群的全过程。首先，作者使用 VMware 虚拟机作为实验环境，并强调了选择仅主机网络连接模式，以确保网络配置的灵活性。在创建虚拟机时，分为 Master 节点和 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值