VMware虚拟机集群上部署HDFS集群

最新推荐文章于 2024-08-11 16:36:35 发布
最新推荐文章于 2024-08-11 16:36:35 发布
阅读量1k 收藏 8
点赞数
分类专栏： 大数据技术入门 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72628462/article/details/131495010
版权

文章目录

一.HDFS介绍

1.什么是HDFS

  • HDFS全称：Hadoop Distributed File System

  • 是Hadoop三大组件（HDFS、MapReduce、YARN）之一

  • 可在多台服务器上构建集群，提供分布式数据存储能力

2.HDFS中的架构角色有哪些

  • NameNode：主角色，管理HDFS集群和DataNode角色

  • DataNode：从角色，负责数据的存储

  • SecondaryNameNode：辅助角色，协助NameNode整理元数据

3.HDFS的基础架构

在这里插入图片描述

二.VMware虚拟机集群上部署HDFS集群

1.集群规划

在这里插入图片描述

2.上传&解压

  1. 上传Hadoop安装包到node1节点中
  2. 解压缩安装包到/export/server/中
    tar -zxvf hadoop-3.3.4.tar.gz -C /export/server
  3. 构建软链接
    ln -s /export/server/hadoop-3.3.4 hadoop
  4. 进入hadoop安装包内
    cd hadoop
  5. Hadoop安装包目录结构
    在这里插入图片描述

3.修改配置文件，应用自定义设置

配置HDFS集群，我们主要涉及到如下文件的修改：

  • workers： 配置从节点（DataNode）有哪些

  • hadoop-env.sh： 配置Hadoop的相关环境变量

  • core-site.xml： Hadoop核心配置文件

  • hdfs-site.xml： HDFS核心配置文件

这些文件均存在与$HADOOP_HOME/etc/hadoop文件夹中。

ps：$HADOOP_HOME是后续我们要设置的环境变量，其指代Hadoop安装文件夹即/export/server/hadoop

(1).配置workers文件

# 进入配置文件目录
cd etc/hadoop

# 编辑workers文件
vim workers

# 填入如下内容
node1
node2
node3

填入的node1、node2、node3

表明集群记录了三个从节点（DataNode）

(2).配置hadoop-env.sh文件

# 填入如下内容
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

  • JAVA_HOME，指明JDK环境的位置在哪

  • HADOOP_HOME，指明Hadoop安装位置

  • HADOOP_CONF_DIR，指明Hadoop配置文件目录位置

  • HADOOP_LOG_DIR，指明Hadoop运行日志目录位置

通过记录这些环境变量， 来指明上述运行时的重要信息

(3).配置core-site.xml文件

<configuration>
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://node1:8020</value>
 </property>
 
 <property>
  <name>io.file.buffer.size</name>
  <value>131072</value>
 </property>
</configuration>

    • key：fs.defaultFS

    • 含义：HDFS文件系统的网络通讯路径

    • 值：hdfs://node1:8020

    • 协议为hdfs://

    • namenode为node1

    • namenode通讯端口为8020

    • key：io.file.buffer.size

    • 含义：io操作文件缓冲区大小

    • 值：131072 bit

  • hdfs://node1:8020为整个HDFS内部的通讯地址，应用协议为hdfs://（Hadoop内置协议）

  • 表明DataNode将和node1的8020端口通讯，node1是NameNode所在机器

  • 此配置固定了node1必须启动NameNode进程

(4).配置hdfs-site.xml文件

<configuration>
 <property>
  <name>dfs.datanode.data.dir.perm</name>
  <value>700</value>
 </property>

 <property>
  <name>dfs.namenode.name.dir</name>
  <value>/data/nn</value>
 </property>

 <property>
  <name>dfs.namenode.hosts</name>
  <value>node1,node2,node3</value>
 </property>

<property>
  <name>dfs.blocksize</name>
  <value>268435456</value>
 </property>

 <property>
  <name>dfs.namenode.handler.count</name
  <value>100</value>
 </property>

 <property>
  <name>dfs.datanode.data.dir</name>
  <value>/data/dn</value>
 </property>
</configuration>

在这里插入图片描述
在这里插入图片描述

4.准备数据目录

根据下述两个配置项：
在这里插入图片描述

  • namenode数据存放node1的/data/nn

  • datanode数据存放node1、node2、node3的/data/dn

所以应该

  • 在node1节点：
  • mkdir -p /data/nn
  • mkdir /data/dn
  • 在node2和node3节点：
  • mkdir -p /data/dn

5.分发Hadoop文件夹

目前，已经基本完成Hadoop的配置操作，可以从node1将hadoop安装文件夹远程复制到node2、node3

  • 分发
  #在node1执行如下命令
  cd /export/server
  scp -r hadoop-3.3.4 node2:`pwd`/
  scp -r hadoop-3.3.4 node3:`pwd`
  • 在node2执行，为hadoop配置软链接
  #在node2执行如下命令
  ln -s /export/server/hadoop-3.3.4 /export/server/hadoop
  • 在node3执行，为hadoop配置软链接
# 在node3执行如下命令
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

5.配置环境变量

为了方便我们操作Hadoop，可以将Hadoop的一些脚本、程序配置到PATH中，方便后续使用。
在Hadoop文件夹中的bin、sbin两个文件夹内有许多的脚本和程序，现在来配置一下环境变量

  1. vim /etc/profile
# 在/etc/profile文件底部追加如下内容
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  1. 在node2和node3配置同样的环境变量

6.授权为Hadoop用户

hadoop部署的准备工作基本完成

为了确保安全，hadoop系统不以root用户启动，我们以普通用户hadoop来启动整个Hadoop服务

所以，现在需要对文件权限进行授权。

ps：请确保已经提前创建好了hadoop用户（前置准备章节中有讲述），并配置好了hadoop用户之间的免密登录

•以root****身份，在node1、node2、node3三台服务器上均执行如下命令：

chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

7.格式化整个文件系统

前期准备全部完成，现在对整个文件系统执行初始化

•格式化namenode

# 确保以hadoop用户执行
su - hadoop

# 格式化namenode
hadoop namenode -format

•启动

# 一键启动hdfs集群
start-dfs.sh

# 一键关闭hdfs集群
stop-dfs.sh

# 如果遇到命令未找到的错误，表明环境变量未配置好，可以以绝对路径执行
/export/server/hadoop/sbin/start-dfs.sh
/export/server/hadoop/sbin/stop-dfs.sh

8.查看HDFS WEBUI

启动完成后，可以在浏览器打开：
http://node1:9870，即可查看到hdfs文件系统的管理网页。
在这里插入图片描述

总结

以上就是今天要讲的内容，本文主要介绍了HDFS的部署，可以帮助我们VMware虚拟机集群上部署HDFS集群。

lT.苏浩
关注
专栏目录
虚拟机VMware Workstation Pro安装集群+hadoop+spark+scala
qq_58031705的博客
03-21 628
虚拟机VMware Workstation Pro安装集群+hadoop+spark+scala
Spark入门(一): VMware虚拟机搭建Spark集群
Redemption1997的博客
09-29 5571
文章目录一、搭建方法二、准备三、系统环境配置四、软件安装与配置1. 软件下载安装2.Hadoop配置3.Spark配置五、虚拟机克隆六、启动集群七、踩坑经历分享 一、搭建方法 在虚拟机上搭建集群的方法通常有两种 1.类似于真实的机器上部署，首先要进行密钥授权使各台机器之间能够免密码相互访问，然后在主节点上将各个软件配置好，分发各个从节点。 2.采用虚拟机克隆的方式，先进行软件的配置，然后将mast...
Hadoop 1、在虚拟机上进行 HDFS 安装
01-22 317
一、准备条件 1.四台Linux虚拟机(1台NameNode节点，1台Secondary节点（Secondary和其中1台DataNode共用），外加2台DataNode) 2.下载Hadoop版本，本例使用Hadoop-2.5.2版本 二、安装Java JDK 最好安装，JDK 1.7 因为JDK 1.7的兼容性最好 #安装JDK rpm -ivh jdk-7u...
使用VMware虚拟机部署hdfs集群
最新发布
m0_64998406的博客
08-11 309
这个属性定义了 Hadoop 集群中文件系统的默认名称节点（NameNode）的地址。1.一键启动（ 前提：配置好机器之间的SSH免密登录和workers文件）: 这个属性指定了 DataNode 存储实际文件数据的位置。每个 DataNode 的主机名或 IP 地址应单独占一行。: 这个属性指定了 NameNode 存储元数据的位置。注：需要根据自己的配置在对应的位置上创建目录。是 NameNode 监听的端口号。也可以使用主机名，但需要配置映射关系。2.手动逐个进程启停。在NameNode上运行。
window eclipse 访问远程虚拟机 Hdfs
05-20 146
package com.ibm.w3; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStre...
虚拟机部署HDFS
weixin_y18485705761的博客
04-14 379
进入到workers文件中按两下dd删除localhost。然后cd到hadoop。
VM虚拟机中HDFS 命令
qq_52721612的博客
02-08 2075
VM虚拟机中HDFS 命令
vmware虚拟机下hadoop集群安装过程.pdf
10-30
【Hadoop集群安装在VMware虚拟机中的详细步骤】 Hadoop是一种开源的分布式计算框架，源于谷歌的两份开创性...在这样一个小型集群上开发的程序可以无缝移植到相同版本的Hadoop集群中，便于进一步的扩展和实际部署。
vmware虚拟机下hadoop集群安装过程.docx
10-30
本文将详细阐述如何在VMware虚拟机环境下搭建Hadoop集群，让您无需大量物理服务器，也能在个人电脑上进行Hadoop的学习和实践。 首先，我们要理解Hadoop的线性扩展性。这一特性意味着，当数据量增加时，如果处理能力...
用mobaxteerm连接VMwareLinux虚拟机怎么解决hdfs磁盘空间不够问题
06-09
4. 增加HDFS集群规模：如果以上方法都无法解决问题，可以考虑增加HDFS集群的规模，以提供更多的存储空间和处理能力。 在进行这些操作之前，请务必备份HDFS中的重要数据，并确保您对Hadoop和VMware有足够的了解，以...
VMware Workstation Pro 16搭建CentOS8虚拟机集群
2401_85112250的博客
06-24 1108
由于文案过于长，在此就不一一介绍了，这份Java后端架构进阶笔记内容包括：Java集合，JVM、Java并发、微服务、SpringNetty与 RPC 、网络、日志 、Zookeeper 、Kafka 、RabbitMQ 、Hbase 、MongoDB、Cassandra 、Java基础、负载均衡、数据库、一致性算法、Java算法、数据结构、分布式缓存等等知识详解。本知识体系适合于所有Java程序员学习，关于以上目录中的知识点都有详细的讲解及介绍，掌握该知识点的所有内容对你会有一个质的提升，
HDFS部署
qq_32000519的博客
01-20 258
HDFS部署 说明 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作...
hdfs部署
weixin_30653023的博客
01-10 108
一、下载Hadoop 2.6.0-cdh5.7.0的tar.gz包并解压： wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz tar -zxvfhadoop-2.6.0-cdh5.7.0.tar.gz cd /usr/local/hadoop-2.6.0-cdh5.7.0/ ls bin ...
VMware搭建Hadoop集群 for Windows（完整详细，实测可用）
热门推荐
07-29 1万+
hadoop集群搭建，完整详细。
部署hdfs
yinji200805030334的博客
04-30 355
hadoop三大组件： 1、hdfs 2、mapreduce 3、yarn 我们要求：hdfs三个进程要以hadoop001启动 hadoop部署文件目录：/home/ali/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop 1、有些版本的是在conf目录中 2、在这个目录下有*.cmd文件，这些文件是windows部署文件，在linux的机器上可以删掉啦 主要文件： co...
虚拟机配置hdfs
V_CHENY的博客
08-29 1527
虚拟机配置hdfs。
从零开始搭建HDFS集群之虚拟机安装及网络配置
mlin的博客
10-15 729
Linux虚拟机的安装下载VMware许可证安装虚拟机配置静态Ip 下载VMware 我用的是VMware14版本,可以去官网下载,也可以点击链接VMware14安装包.exe 许可证 安装完VMware后需要许可证,点击这里下载:VMware许可证 安装虚拟机 这里用的虚拟机是centos6.5 从网上下载一个镜像,安装虚拟机的详细过程后续更新 安装好虚拟机之后需要配置静态Ip 配置静态Ip ...
vmware虚拟机中搭建Hadoop集群教程
"该文档详细介绍了在vmware虚拟机环境下安装和配置Hadoop集群的步骤，包括对Hadoop的基本理解、为什么在虚拟机上搭建集群、以及如何在虚拟机之间建立网络连接。" 在深入探讨Hadoop集群安装之前，我们先来理解一下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值