【详细】VMware虚拟机配置Hadoop集群实验[CentOS8]

最新推荐文章于 2022-08-26 12:55:46 发布
最新推荐文章于 2022-08-26 12:55:46 发布
阅读量2k 收藏 12
点赞数 3
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Coder_C9/article/details/105278727
版权

0. 目录

集群配置情况 ：win10 + vmware15 + centos8+Hadoop-2.10.0

1. 创建虚拟机

  1. 点击 创建新的虚拟机 >> 典型 >> 稍后安装操作系统

  2. 因为 WORKATATION 15 PRO 没有centos8 ，选择 centos 7 64 位
    在这里插入图片描述

  3. 虚拟机名称 可以随意命名，我搭建hadoop集群，为了方便区分，集群主机命名为HadoppMaster，集群从机为HadoopSlave1、HadoopSlave2等等。

  4. 磁盘大小：主机（Master机） 30G（其实我觉得 20G也差不多了）
    从机（Slave机）10G~20G 就基本可以了 这里我自己设置了10G
    下面的选择，个人习惯是 单个文件（NFTS）
    如果是FAT32磁盘格式的话，可能需要选择 拆分成多个文件
    在这里插入图片描述

  5. 自定义硬件设置
    点击 >> 打印机 >> 移除 这里有时候会引起冲突
    点击 >> 声卡 >> 移除 这项可选可不选，反正不会用到声卡
    点击 >> 新 CD/DVD(IDE) >> 使用ISO映像文件 >> 浏览选择你下载的centos8镜像
    在这里插入图片描述
    内存大小等设置是之后可以再调整的
    点击 完成

2.安装centos8

  1. 开启虚拟机后，方向键 ↑ 选择 Install CentOS Linux8 回车 开始安装 （初始是中间的选项）
    在这里插入图片描述

  2. 语言选择界面 默认英语，可以自行选择中文

  3. Time & Date 点击中国区，如果时间出现不一致后面通过命令解决

  4. Software Selection 可以选择 Server with GUI (图形界面+浏览器，新手推荐，但是感觉有时候卡卡的)
    或者选择Minimal Install (最小安装，只有命令行界面，轻快，传输东西可以用xshell或xftp在win10上操作完传过去)
    我Master机选了GUI，Slave机选的是Minimal

  5. Installation Destination 点两次那个磁盘就好了，虚拟机让它默认分就好。

  6. NETWORK & HOST NAME 一定要打开网络连接的开关，特别是选了最小安装，不然centos8默认不联网，比较麻烦。
    然后就可以Begin Installation

  7. 安装过程中可以设置 USER SETTINGS 在这里设置了比较方便，
    我Root Password设置为 root 超短密码需要按两次Done
    User Creation 创建了 用户名为 hadoop 密码为 hadoop 的账户

  8. 如果是部署多台从机的话，可以在安装好（含基本的工具）的机子后，利用 VMware 的克隆复制出多台从机。先不要急

  9. 安装结束重启后，还需要 √上使用许可 ，就可以进入centos8的系统啦

3. 配置安装hadoop需要的基本环境

centos8的工具（终端，浏览器等都在点击左上角那个 Activies 后展开的菜单里）

  1. 给 hadoop 用户增加管理员权限 ，终端输入：
su
//输入密码:root
visudo

在下面找到 root ALL=（ALL） ALL 这行，按i插入红线那一行，hadoop为你的用户名
在这里插入图片描述
按Esc，输入 ：wq！ 保存退出
在终端输入exit 退出 su 模式

  1. 检查ssh（centos8默认安装了）

终端输入

$ rpm -qa | grep ssh

有openssh-clients 和 openssh-server 则可
ssh_check
如果没有，则在终端输入以下命令安装

$ sudo dnf install openssh-clients
$ sudo dnf install openssh-server
//centos8 用 dnf 代替了 yum ，yum也是可以的

测试ssh连接

$ ssh localhost

在红线处输入 yes
在蓝线处输入用户密码：hadoop
在这里插入图片描述

$ exit  # 退出ssh localhost
  1. 同步互联网时间
    如果虚拟机时间已经和互联网时间一样可以跳过这步，如果不一样则一定要校准，否则后续Hadoop无法运行
    本来想用ntp ntpdate 但centos8无法直接使用了
    用chrony校准时间
$ sudo dnf install chrony
$ sudo dnf install vim  #安装vim
$ sudo vim /etc/chrony.conf
#在文件添加入公共ntp服务器，并把第三行的pool..的注释掉，效果如下图
server cn.ntp.org.cn iburst
server ntp.ntsc.ac.cn iburst
#在保存退出后，输入以下
$ systemctl enable chronyd.service #开机自启动
$ systemctl restart chronyd.service  #更新chrony服务
$ chronyc sources -v  #校准时间
$ date #显示时间，时间和宿主机一致则校对成功

如图：注释掉红色线部 分 （图是注释后效果）
在这里插入图片描述

  1. 安装Java环境
    在默认的NAT模式下，同时存在多台虚拟机可能导致网络冲突，请关闭所有虚拟机，开启一台操作。
#安装openjdk-1.8.0
$ sudo dnf install java-1.8.0-openjdk java-1.8.0-openjdk-devel
#安装完成后配置java环境变量
$ vim ~/.bashrc

在文件末加入，（i 键插入）

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk #安装的默认路径
#按ESC 输入 ：wq！ 退出

检查环境变量是否正确

$ source ~/.bashrc #更新环境变量
$ java -version  
$ $JAVA_HOME/bin/java -version #如果两个输出一样则说明设置正确

到此，Master机，Slave机相同的地方已经配置完毕，hadoop的安装与配置只需要在Master机设置好传输到Slave机。现在可以利用配置好的Master机或者Slave样例机克隆出多台Slave机。

4.克隆多台虚拟机

在虚拟机关机的状态下，点击VMware的虚拟机 >> 管理 >> 克隆 >> 克隆自虚拟机中的当前状态 >> 创建完整克隆 >> 命名可以随意（这里我命名为HadoopSlave2）>> 完成
等待克隆完成即可，重复以上可以克隆出HadoopSlave3、HadoopSlave4等等。
没有说到的步骤都是点击下一步

5.配置多台虚拟机的网络互通

在Master机上，安装配置Hadoop之前我们先配置虚拟机之间和虚拟机与宿主机之间的网络互通
我的虚拟机集群的ip如下：(IP可以按照自己的设定)

虚拟机名称网络 IP
Master机192.168.1.121
Slave1机192.168.1.122
Slave2机192.168.1.123
子网192.168.1.0

网上有使用桥接方式建立虚拟机局域网络，但是需要宿主机固定的IP地址，我这里可能实现不了，因此采用NAT方式

  1. VMware NAT网络配置
    点击 编辑 >> 虚拟网络编辑器 >> 更改网络模式 >> 点击NAT模式（名称为VMnet8）
    最下面的子网IP 我设置为192.168.1.0 子网掩码设置为 255.255.255.0
    在这里插入图片描述

然后点击NAT设置 网关IP 设为 192.168.1.1
在这里插入图片描述
点击DHCP设置
在这里插入图片描述

  1. 为每台虚拟机设置唯一的MAC地址
    在每台虚拟机页面 >> 点击编辑虚拟机设置 >> 网络适配器 >> 高级 >> 在MAC地址处点击 生成 务必确保每台虚拟机的MAC地址不相同，如有相同多点几次生成
    在这里插入图片描述
  2. 在每台虚拟机内配置网络IP

(1)关闭防火墙
终端输入

$ su #进入超级用户模式root
$ systemctl stop firewalld.service #关闭防火墙
$ systemctl disable firewalld.service #关闭防火墙自启动
$ nmcli c reload #重启网络

(2)修改虚拟机 ip 地址

$ sudo vim /etc/sysconfig/network-scripts/

打开后会有一个 ensXX的设置文件
在这里插入图片描述
在文件中加入

# 加 # 注释掉 BOOTPROTO="dhcp"
BOOTPROTO="static" #设为静态ip模式
IPADDR=192.168.1.121 #对应每台虚拟机的ip地址
PREFIX=24 #掩码位数
NETMASK=255.255.255.0 #子网掩码
GATEWAY=192.168.1.1 #网关，和之前VMware网络设置的对应

样例如下：
：

(3)设置主机名（虚拟机的hostname）

$ sudo vim /etc/hostname
#加入以下
NETWORKING=yes
HOSTNAME=Master #如果是Slave机，则是Slave1、Slave2等

样例：
在这里插入图片描述
(4)修改网络节点映射

$ sudo vim /etc/hosts
#加入集群的所有机子ip映射，我是 1 Master 2 Slave
192.168.1.121 Master
192.168.1.122 Slave1
192.168.1.123 Slave2

蓝色线为原有的，红色框为新添加的
在这里插入图片描述
以上4步需要在每台机子上操作一遍
在宿主机win10的网络和Internet >> 网络连接 >> VMnet8(NAT网卡) 设置为
在这里插入图片描述其网络大概是这个样子：

在这里插入图片描述

  1. 虚拟机内网互通检查
    要先reboot重启所有机子,使上面的步骤生效
$ ping Master -c 3 #-c 3 表示ping3次，没有该参数要用 ctrl+c 停止
$ ping Slave1 -c 3
$ ping Slave2 -c 3
$ ping www.baidu.com -c 3

能全ping通则OK，如果不能ping通百度，则需要加入dns

$ vim /etc/resolv.conf
#加入
nameserver 223.5.5.5 #两个皆为阿里dns
nameserver 223.6.6.6
  1. SSH免密码登录

方法一：
Master机操作

$ ssh-keygen -t rsa #生成新密钥,一路回车确认

$ ssh-copy-id Slave1 #输入yes 以及slave1密码
$ ssh Slave1  #测试是否能免密登录，exit退出
重复以上两步直至master能免密登录所有slave机和自己

方法二：比较繁琐

Master 机操作：

$ cd ~/.ssh
$ rm ./id_rsa* #移除先前的密钥
$ ssh-keygen -t rsa #生成新的密钥
$ cat ./id_rsa.pub >>  ./authorized_keys
$ chmod 600 ./authorized_keys
$ ssh Master #使用了新的密钥，要重新认证，操作和之前的一样
#输入yes
$ exit
$ scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop  #传输密钥到Slave1机（接收机）其他同理

其中要输入接受机的密码

接收机操作（例：Slave1机）：

$ mkdir ~/.ssh #如果已存在则不用
$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
#防止权限不足，仍要密码认证，给予文件权限
$ chmod 700 ~/.ssh
$ chmod 600 ~/.ssh/authorized_keys
$ rm ~/id_rsa_pub

有其他节点Slave机也执行相同的操作

6. Master机安装Hadoop
  1. 下载Hadoop
    centos有浏览器的可以直接到官网下载，如果只有命令行界面则用wget下载

用wget下载命令

$ sudo dnf install wget #安装wget
$ cd ~
$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz
#从清华源下载会快一点
$ sudo tar -zxf ~/hadoop-2.10.0.tar.gz -C ./  #解压到/home/hadoop目录（主目录）
#如果是用浏览器下载 则改为 ~/download/hadoop-2.10.0.tar.gz
$ sudo mv ./hadoop-2.10.0 ./hadoop #将文件名改为hadoop
$ sudo chown -R hadoop:hadoop ./hadoop #修改文件权限 hadoop：hadoop为 用户：密码
$ cd ./hadoop
$ ./bin/hadoop version #检查hadoop版本，输出有Hadoop 2.10.0 则表示安装成功

为了消除之后运行Hadoop出现Unable to load native-hadoop library for your platform… using builtin-java classes where applicable的警告，执行以下操作

$ sudo cp -r ~/hadoop/lib/native /usr/local/lib/hadoop-native
  1. 配置PATH变量
$ vim ~/.bashrc
#加入下面两行
export PATH=$PATH:/home/hadoop/hadoop/bin:/home/hadoop/hadoop/sbin
export JAVA_LIBRARY_PATH=/usr/local/lib/hadoop-native
$ source ~/.bashrc #更新环境变量
  1. 修改Hadoop配置文件
    文件内容为Hadoop集群分布文件样式，伪分布式需另行设置

（1）修改slaves文件，确定数据节点datanode

$ cd ~/hadoop/etc/hadoop
$ sudo vim ./slaves
#如果要Master机作为数据节点将localhost改为Master，否则删除
#在后面增加Slave机的名称
Slave1
Slave2
$ sudo vim ./core-site.xml #依次配置下列（2）~（5）文件

如图：
在这里插入图片描述

（2）core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://Master:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>file:/home/hadoop/hadoop/tmp<value>
		<description>Abase for other temporary dorectories.</description>
	</property>
</configuration>

（3）修改hdfs-site.xml，其中dfs.replication一般设为3，但如果slave节点少于3，则等于Slave节点数量+Master节点，或只是Slave节点数量，要与前面slaves相对应
这里考虑Master节点只作为名称节点 还是既作为名称节点又作为数据节点，我自己用后者

<configuration>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>Master:50090</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/home/hadoop/hadoop/tmp/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/home/hadoop/hadoop/tmp/dfs/data</value>
	</property>
</configuration>

（4）修改mapred-site.xml
这个文件需要先重命名，默认模板名字为mapred-site.xml.template

$ sudo mv ./mapred-site.xml.template ./mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>Master:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>Master:19888</value>
	</property>
</configuration>

(5)yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<vallue>Master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
  1. 将Master机上的Hadoop复制到其他节点上。

如果在Master机上跑过伪分布模式或格式化过Hadoop，要删除 ~/hadoop/tmp

$ sudo rm -rf ~/hadoop/tmp

传输hadoop文件

$ cd ~
$ tar -zcf ./hadoop-master.tar.gz ./hadoop #先打成压缩包
$ scp ./hadoop-master.tar.gz Slave1:/home/hadoop #使用scp传输

在Slave1上执行

$ cd ~ 
$ tar -zxf ./hadoop-master.tar.gz -C ./
$ sudo chown -R hadoop ~/hadoop

其他Slave机同理。

7.启动Hadoop集群

首次启动hadoop先在Master机进行格式化，如果先前进行过多次格式化或启动失败多次格式后要先将 /home/hadoop/hadoop/tmp 删除

格式化命令 （仅在第一次启动Hadoop前要格式化，之后都不用，否则会导致数据节点不一致而无法运行！！！）

$ hdfs namenode -format

启动Hadoop，所有机子都要在线

$ start-all.sh #旧命令，不建议
#或
$ start-dfs.sh
$ start-yarn.sh
$ mr-jobhistory-daemon.sh start historyserver

分别在Master机、Slave机执行 jps命令可以看到如下
Master机如图， 如果在前面步骤Master机不作为数据节点，则没有蓝色线项，其他项必须有，否则则配置出错
在这里插入图片描述
Slave机如下：
在这里插入图片描述

8.Hadoop样例试验
$ hadoop jar ./hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar pi 3 3

出现红框内容，表示正在运算，在map 0% reduce 0% 处可能时间会长一点，如果很长时间都没有进展，建议重新开启Hadoop再试 ctrl+c 中断程序
开始计算
在这里插入图片描述
出现以下界面则计算成功：
在这里插入图片描述
可以在浏览器中打开 http://192.168.1.121:50070 和 http://192.168.1.121:8088/cluster 查看Hadoop集群情况
192.168.1.121 是Master机ip，在Master机的浏览器可以用Master 代替
在 http://192.168.1.121:8088/cluster 查看查看任务执行情况如下：
在这里插入图片描述

9.关闭Hadoop

关闭Hadoop集群，在Master机上执行

$ stop-all.sh #旧命令，不建议
#或
$ stop-yarn.sh
$ stop-dfs.sh
$ mr-jobhistory-daemon.sh stop historyserver
10.参考资料

[1] Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0
[2] Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS
[3] 【问题解决手记】VMWare虚拟机与本地主机不能互ping问题
[4] CentOS8 网卡配置文件
[5] CentOS 8时间同步
[6] Mac和Linux远程连接服务器异常修复（WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!）
[7] CentOS配置SSH免密码登录后,仍提示输入密码
[8] CentOS ping www.baidu.com 报错 name or service not know
[9] Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

Coder_C9
关注
  • 3
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Linux运维入门Hadoop实验参照手册一（安装VMware与CentOS）
03-08
Linux运维入门Hadoop实验参照手册一（安装VMware与CentOS）
VMware中使用CentOS安装并测试Hadoop
a512977208的博客
01-05 192
预备软件： 使用的是CentOS6.0、hadoop-1.0.4 Jdk使用的是jdk-6u29-linux-i586-rpm.bin 文档帮助： Hadoop-1.0.4文档http://hadoop.apache.org/docs/r1.0.4/ 单机安装指南http://hadoop.apache.org/docs/r1.0.4/single_node_set...
在VM上安装centOS7&配置Hadoop环境
Wood_Du的博客
09-29 2049
主要内容： 1.安装虚拟机和centOS7。 2.理解Hadoop的体系结构。 3.配置Hadoop集群 写在开头（相关软件下载link和参考的博客） VMware软件的安装 https://blog.csdn.net/sehejs_a/article/details/80633379 这个博客有VMware正版软件的下载地址和激活密钥 centOS7镜像下载： https://www.cento...
Centos中Hadoop安装详细过程（含图文）
weixin_43333607的博客
01-12 1万+
CentOS中hadoop的安装 安装环境 虚拟机上三台centos系统 使用NET模式连接有线网络 在命令行使用ifconfig命令查看静态IP地址 Xshell5安装在Windows上，用于连接虚拟机 所需软件下载 Hadoop官网下载Hadoop：http://hadoop.apache.org/ JDK官网下载：https://www.oracle.com/technet...
VMWare虚拟机安装CentOS 7 Linux及Hadoop与Eclipse学习环境（1-虚拟机）
肖永威的专栏
11-22 4799
本文介绍VMWare虚拟机安装CentOS 7 Linux安装过程，以及Hadoop与Eclipse学习环境安装配置过程。
虚拟机VMware下centos配置hadoop集群
05-24
在虚拟机下如何利用3个centos系统进行hadoop集群配置，包括两个slave节点，一个master节点，JDK安装，SSH免密码登陆，hadoop下载安装配置启动、并检测。
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
从VMware中安装CentOS到Hadoop集群+ Hive+ MySQL搭建
08-11
适合新手，详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建
Linux-centos虚拟机集群配置
01-07
可以安装多台虚拟机，组成一个小型局域网，例如：搭建 hadoop 集群、分布式服务。 配置 1.VMnet8 设置静态 IP 2.Centos 网络设配器为 NAT 模式 3. VMware 虚拟网络设置 创建虚拟机 1.复制 将centos6.9-clean-...
VM虚拟机安装centos7.9 及 hadoop3.3.3伪分布模式
weixin_43935828的博客
07-06 648
VM虚拟机安装Centos7.9 及 Hadoop3.3.3 伪分布模式配置
【虚拟化与云计算实验报告】Hadoop环境搭建：从系统下载、安装、命令使用，到MapReduce的简单编程实验
学无止境,勤则可达；志存高远,恒亦能成！
05-30 7670
一、实验要求 根据课本上的Hadoop的章节的内容，熟悉从系统下载、安装、命令使用，到MapReduce的简单编程实验。 二、实验内容 2.1 部署方式 Hadoop主要有两种安装方式，即传统解压包方式和Linux标准方式。安装Hadoop的同时，还要明确工作环境的构建模式。Hadoop部署环境分为单机模式、伪分布模式和分布式模式三种。 2.2 部署步骤(简述) 步骤1：制定部署规划； 步骤2：部署前工作； 步骤3：部署Hadoop； 步骤4：测试Hadoop。 2.3 准备环境 由于分布式计算需要用到很多
VMware Workstations15 创建centOS7虚拟机 安装hadoop-2.7.3及配置
qq_53203613的博客
08-26 707
在VMware Workstations15上linux系统centOS7的hadoop-2.7.3安装及hadoop集群的部署教程
Hadoop伪分布式环境搭建
Auscoo111的博客
10-08 163
Hadoop伪分布式环境搭建 hadoo和jdk的下载问题：如果是下载到windows上，需要移动到虚拟机上。只需直接拖拽就可以完成文件的移动。如果没能拖拽成功，则需要使用远程连接的软件来完成文件的上传，这里推荐使用MobaXterm的安装和使用：https://www.cnblogs.com/cainiao-chuanqi/p/11366726.html 完成上传之后，其中的simpl...
Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）图文步骤详解(2021)
热门推荐
小哨的博客
03-14 3万+
CentOS7下载+VM上安装（手动分区）图文步骤详解(2021) 文章目录CentOS7下载+VM上安装（手动分区）图文步骤详解(2021)CentOS7下载官网下载国内镜像下载VM上手动安装CentOS7创建虚拟机分区方案描述必须的分区boot分区：/分区（根分区）：swap分区：可选的分区home分区var分区 CentOS7下载 官网下载 1.进入CentOs官网：官网网址 2.往下拉进入Older Version 3. 往下拉找到Base Distribution，选择自己的版本，点击Tree
CentOS7安装Hadoop2.7.3完整流程及总结
wl0909的博客
11-26 1万+
CentOS7安装Hadoop2.7.3完整流程及总结
从VMware安装建centos7虚拟机到hadoop集群搭建详细图文过程；以及安装中的一些问题
weixin_49253306的博客
11-15 4201
目录 一、安装VMware虚拟机和centos7 （一）安装VMware （二）创建centos7虚拟机 二、搭建集群准备工作 （一）准备模板机 （二）克隆三台虚拟机 三、搭建三台机器Hadoop集群 1.集群部署 2.在hadoop102上安装jdk 3. 在hadoop102上安装hadoop 4.准备同步数据脚本 5.SSH免密登录 6.配置文件 7.格式化namenode，以及单点启动 8. 官方四个群启/群停 9.封装脚本启动
大数据入门级学习——Hadoop集群搭建总结（VM+centOS7）
不撸先疯。
10-11 1921
步入大数据的第一步： 必须学会搭建大数据集群的框架 那么第一步必须要在linux系统上搭建Hadoop集群 一、安装并配置虚拟机（centOS7） 先在VM中创建一台虚拟机（VM傻瓜式安装即可）： 下面简单介绍一下安装centOS7的过程： 安装centOS7的过程（安装桌面版）： 安装完成，下面开始配置： 注意：centOS6与centOS7的配置选项不同！（如果安装的是centOS6，最后的文件夹为......
VM-CentOS7搭建hadoop
weixin_45609519的博客
09-28 297
VM-CentOS7搭建hadoop小型集群 一、安装三台向虚拟机并实现SSH免密登录 1.1 安装三台虚拟机CentOS7 第一台按照下方链接正常安装，后两台依据第一台进行克隆。记得要分别配置IP地址，关闭防火墙和SELINUX https://hq0749a.blog.csdn.net/article/details/108696766 关闭防火墙和SELINUX命令：(CentOS7默认使用firewall作为防火墙) 注：以下命令均在终端中执行 #停止firewall systemctl stop
vmware配置hadoop集群
最新发布
09-20
要在VMware上配置Hadoop集群，您需要完成以下步骤： 1. 安装VMware并下载Centos7作为虚拟机操作系统2. 在VMware中安装和配置多个虚拟机，以构建Hadoop集群的节点。您可以使用前面提到的引用中的集群架构作为参考。 3. 在每个虚拟机中安装和配置SSH，以便节点之间可以进行通信并实现无密码登录。您可以参考引用中的第三步集群配置-安装和配置SSH。 4. 下载Hadoop并解压到每个虚拟机的主目录下。您可以参考引用中的第四步安装hadoop。 5. 配置Hadoop环境变量，将Hadoop的bin和sbin目录添加到PATH中。您可以参考引用中的第四步配置环境变量。 6. 配置Hadoop的核心文件，包括修改hadoop配置文件参数和格式化HDFS文件系统。您可以参考引用中的第一步安装单台虚拟机和第四步集群配置-格式化HDFS文件系统。 7. 启动Hadoop集群并进行测试，确保集群的正常运行。您可以参考引用中的第五步集群测试。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值