虚拟机装Hadoop集群完全分布式

最新推荐文章于 2024-10-01 01:39:24 发布
最新推荐文章于 2024-10-01 01:39:24 发布
阅读量342 收藏
点赞数 1
分类专栏： Hadoop Linux 文章标签： 分布式 linux 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45638264/article/details/111027551
版权

环境

系统：ContOS 8
虚拟机：VMware 16
hadoop：hadoop-3.3.0.tar.gz
JDK：jdk-8u241-linux-x64.tar.gz
文件上传工具 ：WinSCP
连接Linux：XShell

可以在官网下载也可以在百度网盘下载：
操作系统：
链接：https://pan.baidu.com/s/1DuzjRqxwvMXjDsBXeXDObQ 
提取码：kdmn 

虚拟机：
链接：https://pan.baidu.com/s/1JVjnjvctpR-LaCC-iwRktQ 
提取码：9cp5 

Hadoop相关：
链接：https://pan.baidu.com/s/1dFLL3PcWsZmGSg1Ex5EzYA 
提取码：7ony

要求

安装虚拟机时有三种网络模式：Bridged（桥接模式）、NAT（网络地址转换模式）、 Host-Only（仅主机模式）

安装桥接或者NAT模式
安装桥接或者NAT模式
安装桥接或者NAT模式

网络配置

三种网络模式的网络设置：https://blog.csdn.net/Noob_f/article/details/51099040

我的另一个文章：https://blog.csdn.net/qq_45638264/article/details/111027588
里面涉及IP、网关、掩码、DSN等的详细设置

设置域名

用root用户设置，两个系统都要弄

命令：vim /etc/hosts
在这里插入图片描述
保存即可

集群情况

系统名系统域名系统IP用户名
mastermaster192.168.163.10hadoop
worker01worker01192.168.163.11hadoop

上传文件

  1. 使用root在根目录下建一个bigdata目录：mkdir /bigdata

  2. 给目录加其它用户写的权限：chmod -R o+w /bigdata

  3. 使用WinScp软件上传文件
    这里的主机名填Linux系统的IP，用户名：root

在这里插入图片描述

创建hadoop用户
创建组：groupadd -r hadoop
创建用户：useradd -d /home/hadoop -s /bin/bash -g hadoop  hadoop
设密码：passwd hadoop
解压包到bigdata目录中

切换到hadoop用户操作

解压JDK：tar -zxvf jdk-8u241-linux-x64.tar.gz -C /bigdata/
解压Hadoop：tar -zxvf hadoop-3.3.0.tar.gz -C /bigdata/

重命名：
cd /bigdata
mv jdk-8u241-linux-x64  jdk
mv hadoop-3.3.0 hadoop
创建添加环境变量

使用root用户
命令： vim /etc/profile

##JAVA_HOME
export JAVA_HOME=/bigdata/jdk
export PATH=$JAVA_HOME/bin:$PATH

##HADOOP_HOME
export HADOOP_HOME=/bigdata/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

随后使用命令：source /etc/profile

查看是否成功：java -verison
在这里插入图片描述

免密登录

切换到hadoop用户

master机器：
S1：使用命令：ssh master
输入密码后
要是没有下面这种出现情况---hadoop@master
重启系统，切换到用户hadoop，再使用命令S1
你也可以重启ssh服务试试：命令：systemctl restart sshd

在这里插入图片描述

S2：使用命令：ssh-keygen -t rsa
后面都是默认，一直回车
S3：使用命令：cd .ssh
S4：使用命令：cat id_rsa.pub >> authorized_keys 


worker01机器：完成步骤：S1~S3
这里的S1：ssh worker01 
在hadoop的.ssh目录下

S5：将worker01的公钥发给master：scp id_rsa.pub hadoop@master:/home/hadoop/.ssh/id_rsa.pub.worker01

master机器：
S6：使用命令：cat id_rsa.pub.worker01 >> authorized_keys 

master将authorized_keys文件传给worker01
S7：使用命令：scp authorized_keys hadoop@worker01:/home/hadoop/.ssh/

S8：在两台机器上分别测试 
都是在Hadoop用户下
命令：ssh master、ssh worker

master：
在这里插入图片描述
worker01：
在这里插入图片描述

authorized_keys ：
在这里插入图片描述
authorized_keys 文件是对的，但是就是不能免密登录，看我的另一文章：https://blog.csdn.net/qq_45638264/article/details/109114939

配置Hadoop文件

注意：完全分布式的Hadoop配置内容和伪分布式不同！！ 利用hadoop搭伪分布式环境需要配置4个xml文件，这4个xml文件都在/bigdata/hadoop/etc/hadoop文件夹中。

先在master上配置，再通过scp命令复制到worker01

使用hadoop用户操作

（1）修改hadoop-env.sh配置文件

配置hadoop-env.sh过程
S1：打开hadoop-env.sh文件，将当前位置切换了/bigdata/hadoop/etc/hadoop中，使用命令vim hadoop-env.sh，命令执行后hadoop-env.sh文件被打开
S2：在hadoop-env.sh文件中修改JAVA_HOME环境变量，将export JAVA_HOME=${JAVA_HOME}（虽然之前的代码也能获取到JAVA_HOME的值，但是有时候会失效）修改为export JAVA_HOME=/bigdata/jdk

（2）修改core-site.xml配置文件

配置core-site.xml过程
S1：打开core-site.xml文件，将当前位置切换了/bigdata/hadoop/etc/hadoop中，使用命令 vim core-site.xml，命令执行后,core-site.xml文件被打开
S2：在core-site.xml文件末尾添加上如下代码：
代码如下（<'configuration'>和<'/configuration'>标签原来就有）：

<configuration>
  <property>
     <name>hadoop.tmp.dir</name>
     <value>/bigdata/hadoop/etc/hadoop/tmp</value>
     <description>Abase for other temporary directories.</description>
  </property>
  <property>
     <name>fs.default.name</name>
     <value>hdfs://master:9000</value>
     <final>true</final>
  </property>
</configuration>

注意： hadoop.tmp.dir文件不是一个临时文件，是存放所有master中数据的文件，其目录地址为：/bigdata/hadoop/etc/hadoop/tmp。

（3）修改hdfs-site.xml配置文件

配置hdfs-site.xml过程
S1：打开hdfs-site.xml文件，将当前位置切换了/bigdata/hadoop/etc/hadoop中，使用命令vim hdfs-site.xml，命令执行后hdfs-site.xml文件被打开
S2：在hdfs-site.xml文件末尾添加上如下代码：
代码如下（<'configuration'>和<'/configuration'>标签原来就有）：

<configuration>
  <property>
     <name>dfs.replication</name>
     <value>2</value>
     <final>true</final>
  </property>
   <property>
      	<name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
 </property>
  </configuration>

注意：2是指备份2份（总共2份）。在hadoop中默认有3份文件（含备份），这里总共想要存放2份文件，则改为2。

dfs.http.address是为了让浏览器可以访问

（4）修改mapred-site.xml配置文件

配置mapred-site.xml过程
S1：（1）打开mapred-site.xml文件（你会发现在/bigdata/hadoop/etc/hadoop中没有mapred-site.xml文件，只有一个mapred-site.xml.template文件。这是因为mapreduce比较特殊，它可以配置也可以不配置，而其他例如core-site.xml存在因为其必须配置
（2）这里只需要将mapred-site.xml.template复制一下，并且将文件名改为mapred-site.xml进行修改即可,直接在/bigdata/hadoop/etc/hadoop/下使用 cp mapred-site.xml.template mapred-site.xml即可）
（3）将当前位置切换了/bigdata/hadoop/etc/hadoop/中，使用命令 vim mapred-site.xml，命令执行后mapred-site.xml文件被打开
S2：在mapred-site.xml文件末尾添加上如下代码：
代码如下（`<'configuration'>`和`<'/configuration'>`标签原来就有）：
<configuration>
  <property>
     <name>mapred.job.tracker</name>
     <value>master:9001</value>
  </property>
</configuration>

（5）修改yarn-site.xml配置文件

配置yarn-site.xml过程
S1：打开yarn-site.xml文件，将当前位置切换了/bigdata/hadoop/etc/hadoop中，使用命令sudo vi yarn-site.xml，命令执行后yarn-site.xml文件被打开
S2：在yarn-site.xml文件末尾添加上如下代码：
代码如下（`<'configuration'>`和 `<'/configuration'>` 标签原来就有）：
<configuration>
  <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>masater</value>
  </property>
  <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
  </property>
</configuration>

（6）配置masters和slaves文件
切换至/bigdata/hadoop/etc/hadoop，使用ls查看文件，发现只有workers，这里使用cp workers masters 命令复制一下。

（1）配置的masters文件如下：
S1：打开masters文件，将当前位置切换了/bigdata/hadoop/etc/hadoop中，使用命令vim masters，命令执行后masters文件被打开
S2：在masters文件末尾添加上如下代码：

在这里插入图片描述

（2）配置的worker01文件如下：
S1：打开worker01文件，将当前位置切换了/bigdata/hadoop/etc/hadoop中，使用命令vim worker01，命令执行后worker01文件被打开
S2：在worker01文件末尾添加上如下代码：

在这里插入图片描述

（7）master向worker01节点复制hadoop配置

worker01系统中也必须用Root建一个bigdata目录

步骤
S1：复制JDK。将当前位置切换了/bigdata/下。scp -r jdk/ hadoop@worker01:/bigdata/
S1：复制Hadoop。将当前位置切换了/bigdata/下。scp -r hadoop/ hadoop@worker01:/bigdata/

（8）worker01中的环境变量和master是一样的。

格式化HDFS文件

在master中格式化
将当前位置切换了/bigdata/hadoop下

格式化：./hdfs namenode -format

启动hdfs

命令： ./sbin/start-dfs.sh
或者：start-dfs.sh

如果配置了yarn的话必须要启动yarn：./sbin/start-yarn.sh或start-yarn.sh

查看是否启动

命令：jps

master机器：
在这里插入图片描述
worker01机器：
在这里插入图片描述

在本地浏览器访问：
hdfs：192.168.163.10:50070/
在这里插入图片描述

自此，安装成功，测试的话可以自己百度一个计算单词个数。

何祥建
关注
专栏目录
虚拟机下搭建Hadoop集群
Sirm23333
10-07 647
一、准备 VMware Workstation pro 15 CentOS-6.5-x86_64-minimal Hadoop 3.1.1 二、安装CentOS6.5 以下未出现的安装过程中的步骤，均可以选择默认选项。 打开VMware，创建虚拟机，选择自定义安装： 选择稍后安装操作系统： 输入虚拟机名字及安装的路径，这里只影响在VMware中显示的名字： 内存选择1G以上...
Hadoop集群完全分布式的搭建~（超详细版）来了
不曾与你分享的时间，我都在努力，时间是最好的答案!
03-11 1227
此篇文章虽然详细地描述，Hadoop集群的搭建流程，但比较适合有一定Linux系统基础的友友们，新手也不用太担心哈，跟着步骤操作下去就没有太大问题哈，我写的几篇文章是相互贯通的，友友们可以参考参考一下哈，相信友友们一定会有收获的
Hadoop安装以及伪分布模式搭建过程
小太阳~
04-14 2480
一、前提（1）环境：Ubuntu 16.04 （2）需要软件：JDK 1.8 和 Hadoop-2.8.0二、安装JDK安装的详细过程参见博文：博文链接三、安装Hadoop下载地址：http://hadoop.apache.org/releases.html我选的是hadoop 2.8.0，选择binary版本。（source是源码，如果在工作中需要修改源码之后再运行，则可以选择source），如
Hadoop集群搭建（详细版）
最新发布
qq_73824705的博客
10-01 2474
分别在hadoop101、hadoop102、hadoop103中修改 hosts 文件（主要用于映射 IP 地址和域名之间的连接）设置hostname，分别修改主机名为hadoop101、hadoop102、hadoop103，cat命令查看主机名。进入hadoop101，打开终端，设置为静态 ip ，添加 ip 地址、网关和域名。打开xshell，hadoop101、hadoop102、hadoop103建立连接。打开ens33并修改主机名为hadoop101，点击完成，开始安装。
虚拟机搭建hadoop集群
幸运小侯子
11-30 196
整理文档下载地址：http://download.csdn.net/detail/ruishenh/6638309 1.虚拟机安装系统（个人安装系统是centos 6.x final版) 1.在虚拟机安装了三个系统（centos 6.x final版的）目前两个都是安装的，一个是在文件复制的。 2. 安装完系统后开始安装rz命令包（由于系统在window系统用crt操作linux系统了，所以...
虚拟机中搭建hadoop集群
qq_45143653的博客
11-06 351
一、克隆hadoop虚拟机 二、修改主机名 编辑：[root@mycentOS603 Data]# vi /etc/sysconfig/network 三、查看IP地址更改/etc/hosts ifconfig查看IP地址 vi /etc/hosts修改地址映射 四、在Windows尝试ping命令 修改C:\Windows\System32\driver...
利用虚拟机搭建hadoop集群
hello world!
02-01 471
概述 在搭建hadoop集群时，主要参考了网上的几篇博客，但也遇到一些问题。 点击原文 问题一：core-site.xml文件中的错误 property> name>hadoop.tmp.dirname> value>/tmpvalue> property> 这里的value值不能用/tmp文件夹， 否则再开机时，datanode无法启动，需要再次格式化。因为/tmp是临时文件夹
Ubuntu 16.04 虚拟机下构建hadoop完全分布式集群
06-26
根据提供的文件信息，本文将详细解析如何在Ubuntu 16.04虚拟机环境下搭建Hadoop完全分布式集群。本文档适合已经具备基本Linux操作技能并对Hadoop有一定了解的读者。 ### 一、所需文件及软件 为了搭建Hadoop完全...
【hadoop】完全分布式集群部署
m0_71892364的博客
06-13 395
完全分布式模式：是多台服务器组成的分布式环境，安全系数比较高。当企业在工作时，数据的安全是非常重要的，当我们一个主机出现故障的时候，如果我们使用的是伪分布，这种是单机运行的，出现故障也容易造成不可挽回的损失。但是完全分布式就能够解决这个问题，它最少有三个主机，当主节点出现宕机的时候，从节点就会补上。
VMware下CentOS7虚拟机中基于Docker的Hadoop的完全分布式环境搭建
Nick&Niko ’ Home
04-02 655
基于几位前辈的经验，自己重新做的一个整理。VMware下CentOS7虚拟机中基于Docker的Hadoop的完全分布式环境搭建
Hadoop完全分布式集群总结
01-07
文章目录Hadoop完全分布式集群搭建一、新建虚拟机二、规划集群与服务1、逻辑结构2、物理结构3、总结构三、配置集群1、主节点基础网络配置1.1、配置固定ip地址1.2、修改主机名1.3、配置dns1.4、配置 ip 地址和主机名...
在虚拟机上搭建Hadoop集群
lovewordskd的博客
10-18 435
cd /usr/software/ 通过xshell把tar包拖进来 tar -zxvf hadoop-2.7.3.tar.gz rm -rf hadoop-2.7.3.tar.gz cd hadoop-2.7.3/etc/hadoop/ vi hadoop-env.sh 找到并修改：export JAVA_HOME=/usr/software/jdk1.8.0_181 vi core-site.xml 在configuration的标签中间添加： <property> <name&gt
虚拟机上搭建hadoop全分布式集群，用1.X版本的方式
weixin_44339867的博客
10-18 230
上篇文章记录了 hadoop 搭建伪分布式的过程，用的也是是1.X版本的方式，这里记录一下全分布式的搭建 1、前期准备 要提前准备几台虚拟机，最少四台，我准备了四台，hostsname分别是：demo001、demo002、demo003、demo004 要保证每台虚拟机上都安装了jdk 修改虚拟机的hostname，具体改为什么都行 > 输入 vi /etc/sysconf...
VMware虚拟机中搭建Hadoop集群
yushuai12345的专栏
01-14 597
1、下载的软件： VMware Workstation  Ubuntu  SUN-JDK  Hadoop,可到官网下载   2、安装 VMwareWorkstation 虚拟机，并建立 Master 虚拟主机(记住，先是建立一个虚拟机，然后在这个基础上进行clone，这样就能利用已建好的虚拟机，以及在其上安装好的软件和相关配置，达到复用的效果)，同时，在建立虚拟机时应该选择桥接模式，原因不在叙
linux虚拟机搭建hadoop集群(超简单)
热门推荐
大黑羊技术探索路
10-18 1万+
1.下载: 1.1 下载centos7: 黑羊君是在官网下载的centos 因为是外网 如果没有VPN的话可能比较慢,当然也可以百度一下国内的镜像站 例如:阿里云镜像 网易云镜像 清华镜像等等... 官网地址:https://www.centos.org/download/ 点击下图红色圈圈处 可选择历史版本 一般下载DVD ISO版本安装 可以选择桌面版 或者最小mini安装. 这是黑...
hadoop虚拟机搭建集群（Oracle VM VirtualBox）
zuoyejun的博客
07-11 813
首先选择一台配置完好的虚拟机作为主机（master) 1.1. 设置virtualbox全局网络设定，设定全局主机虚拟网卡 然后·配置主机网卡 以上是我的配置最后效果如下 2.这样之后只要启动虚拟机进行配置就好 更改/etc/hosts 更改/etc/hostname 更改/etc/network/interfaces 更改完成后记得重启虚拟机 3.复制虚拟机Hadoop01创建其它俩台虚拟机，记得更改虚拟机地址，然后测试虚拟机之间的连通性。 成功如下 4.在主机上配置ssh 5.配
Linux虚拟机系统Ubuntu搭建Hadoop集群
不励志成为瓦洛兰特糕手的突破手不是好码农
12-02 2191
大学生大数据实验亲手实操笔录，希望可以帮助到大家。
Ubuntu 16.04搭建Hadoop 2.7.2完全分布式集群教程
在Ubuntu 16.04虚拟机中构建Hadoop完全分布式集群是一项重要的任务，它允许用户处理大规模数据并行计算。以下将详细介绍整个过程中的关键知识点： 1. **所需文件**： - `hadoop-2.7.2.tar.gz`：这是Hadoop 2.7.2的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值