Linux磁盘扩容&Hadoop纵向扩容

已于 2024-05-28 09:55:36 修改
阅读量277 收藏
点赞数 3
文章标签： hadoop 运维
于 2023-11-20 13:16:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iisbeginner/article/details/134505385
版权
本文详细介绍了如何在Linux环境下为虚拟机添加硬盘并进行分区、格式化及挂载操作，以及如何配置Hadoop进行纵向扩容，包括datanode的多目录存储设置、磁盘负载均衡的步骤和注意事项。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、虚拟机添加硬盘（注意这部分是测试参考）

1.1 给虚拟机增加新的硬盘

关闭虚拟机
选择硬盘，下一步

在这里插入图片描述

下一步

创建新虚拟磁盘，下一步

在这里插入图片描述

指定磁盘容量

在这里插入图片描述

完成后重启虚拟机

二、硬盘分区

2.1 输入命令：lsblk

查看当前硬盘使用情况，我们可以看到增加的硬盘，类似下图

在这里插入图片描述
接下来对磁盘进行分区，创建物理卷，把新增的物理卷加到卷组里

fdisk -l

在这里插入图片描述

2.2 输入命令进行分区：

分区，使用 fdisk /dev/sdb ，输入n 新建分区，然后一直回车，最后输入 w 保存配置；创建完成之后，可输入 p 查看；/dev/sdb1 即为新建的分区

fdisk /dev/sdb

常用命令：
m:获取帮助

n：分区

p：查看分区表

w：将分区信息写入硬盘

2.3 输入n开始分区

输入n后输入p,然后一直回车，输入w，保存，如果需要选择磁盘分区大小的话，不要一直回车，参考下图2配置

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.4 再

最低0.47元/天 解锁文章
皮皮阿~
关注
第二课 ceph基础学习-OSD扩容换盘和集群运维
QnHyn
10-19 2355
osd扩容还盘和集群运维
Hadoop系列——企业存储系统概述，HDFS概述day2-2
qq_51553982的博客
10-19 1394
HDFS(Hadoop Distributed File System )，意为:Hadoop分布式文件系统。是Apache Hadoop核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在。分布式文件系统解决大数据如何存储问题。分布式意味着是横跨在多台计算机上的存储系统。HDFS是一种能够在普通硬件上运行的分布式文件系统，它是高度容错的，适应于具有大数据集的应用程序，它非常适于存储大型数据（比如TB和PB)。
[喵咪大数据]Hadoop节点添加下线和磁盘扩容操作
weixin_34044273的博客
12-19 415
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop集群添加磁盘步骤
huyuxiang999的专栏
12-31 8691
一、实验环境 ： 1、硬件：3台DELL服务器，CPU：2.27GHz*16，内存：16GB，一台为master，另外2台为slave。 2、系统：均为CentOS6.3 3、hadoop版本：CDH4.5，选用的mapreduce版本不是yarn，而是mapreduce1，整个集群在cloudera manager的监控下，配置时也是通过manager来配置（通过更改配置文件是一样的道理）
Hadoop HDFS DataNode动态扩容机制
huxian1234的专栏
05-28 1347
胡弦，视频号2023年度优秀创作者，互联网大厂P8技术专家，Spring Cloud Alibaba微服务架构实战派(上下册)和RocketMQ消息中间件实战派(上下册)的作者，资深架构师，技术负责人，极客时间训练营讲师，四维口袋KVP最具价值技术专家，技术领域专家团成员，2021电子工业出版社年度优秀作者，获得2023电子工业出版技术成长领路人称号，荣获2024年电子工业出版社博文视点20周年荣誉专家称号。
Hadoop集群hdfs添加磁盘操作
freeRoad
04-14 1208
Hadoop集群hdfs添加磁盘操作 目前的环境是cdh。服务器部署在Azure；一台cdhmaster（一个namenode，一个datanode），四台cdhslave节点（各一个datanode）。 hdfs现状： 首先是在Azure控制台对每台服务器添加一块磁盘（我这添加的是4T） 在到服务器中对每台服务器进行添加磁盘操作： 因为在Linux中，常用2种分区表： MBR分区表（即主引导记录） 所支持的最大分区：2T，而且对分区有限制：最多4个主分区或3个主分区加一个扩展分区[..
Hadoop扩容
小崔的专栏
03-28 1386
Linux下 磁盘扩容的两种方式 原地址：https://www.cnblogs.com/yangxiansen/p/7860270.html Hadoop扩容 概述 Hadoop存储容量或计算能力不能满足日益增长的需求时，就需要扩容。 扩容有两个方案： 1) 增加磁盘 2) 增加节点 方案一：扩大虚拟磁盘 扩大容量 将虚拟的Linux关闭，扩大磁盘容量 ...
hdfs扩容
最新发布
05-20
HDFS作为分布式文件系统，支持通过两种主要方式来扩展其存储容量：**横向扩容**和**纵向扩容**。 #### 1. 横向扩容 横向扩容是指通过增加新的DataNode节点到现有集群中，从而提升整体存储能力。以下是具体的实施...
Hadoop学习笔记
weixin_45906989的博客
08-13 1681
Handoop学习笔记
虚拟机磁盘扩展、HDFS扩容
星星应该哈哈大笑，反正宇宙是个空旷的地方。
08-24 722
在学习中，虚拟机创建的时候内存设置的小了，导致HDFS的内存也不够用了，查询了一堆教程，以下记录虚拟机扩容的完整过程。
Hadoop大数据应用：Yarn 节点实现扩容与缩容
cronaldo91的博客
03-14 1737
（7）域名主机名(hadoop节点)(10) 清除日志（node05节点）（11）启动服务 （node05节点）(15) 验证 （hadoop节点）（1）删除节点 （node05节点）(3) 停止服务（hadoop节点）（6）再次验证 （hadoop节点）地址为192.168.204.55。（4）启动服务（hadoop节点）NodeManager（已部署）NodeManager（已部署）NodeManager（已部署）（2）验证 （hadoop节点）（5）验证 （hadoop节点）
hadoop habse集群增加磁盘空间
jiangdaquan的博客
07-13 2343
    最近项目上采集的数据量超出预期，hbase集群中的datanode节点磁盘使用过快，基本都超过50%，按现有的使用频率来看，预计只能继续支撑3个月左右，考虑着要加新的硬盘，但是却被这么一个小问题折腾了好一会才解决，特地在此记录一下。    centos环境下挂载新硬盘1、硬盘分区1.1、显示硬盘及所属分区情况fdisk -l显示当前的硬盘及所属分区的情况。如下图所示： 1.2对新硬盘进行分...
大数据之HDFS磁盘扩容(linux磁盘扩容)
天道酬勤
06-06 544
本文以扩容/dev/vdb1 分区为例，命令中/dev/vdb 与1之间需要使用空格分隔。/dev/vdb1 分区容量为32G，文件系统类型为ext4，已挂载至/www。返回结果如下，则表示已扩容成功（/dev/vdb1分区由32G扩容至53G）/dev/vda 数据盘磁盘容量为21.5GB，包含/dev/vda1分区。/dev/vdb 数据盘磁盘容量为53.7GB，包含/dev/vdb1分区。/dev/vda1 分区容量为22G，文件系统类型为xfs，已挂载至/2、执行以下命令，查看扩容结果。
Linux: 已使用的磁盘扩容（两种情况）
weixin_72585038的博客
02-26 3086
【代码】Linux: 已使用的磁盘扩容。
ceph 纵向扩容 nautilus版本
tobias的博客
08-13 353
零 修订记录 序号 修订内容 修订时间 1 新增 2021/2/6 一 摘要 前文linux 基于三台物理机安装ceph nautilus 介绍了 ceph 在centos 7.6 上的安装。 ceph nautilus 横向扩容 介绍了ceph 横向扩容，本文在此两篇基础上 在介绍纵向扩容 二 环境信息 主机名 状态 IP 磁盘 角色 cephtest001.ceph.kxdigit.com 已完成 10.3.176.10 系统盘：/dev/sda 数据盘：/dev
Hadoop集群动态扩容和缩容
数据库生态圈（RDB & NoSQL & Bigdata）——专注于关系库优化（Oracle&Mysql&PG&SQL Server ）
06-13 1991
本文通过实例讲解了Hadoop集群动态扩容缩容的过程，记录于此，供自己和各位同学日后参考及研究。
Hadoop大数据应用：HDFS 集群节点扩容
cronaldo91的博客
03-14 2144
（11）查看slaves (hadoop节点)SecondaryNameNode （已部署）ResourceManager（已部署）（7）域名主机名(hadoop节点)(10) 清除日志（node04节点）（14）启动服务 （node04节点）(15) 验证 （hadoop节点）000为KB，000000为MB，NodeManager（已部署）NodeManager（已部署）NodeManager（已部署）NameNode （已部署）DataNode（已部署）DataNode（已部署）
hadoop等集群扩容
youyigebug的博客
11-06 242
集群扩容（添加节点） A : 准备新节点
hadoop集群扩展
dhtx_wzgl的博客
07-15 2825
一、先修改master机上的host文件，新增内容 10.61.6.180 slaves15 二、修改master机上hadoop安装目录下的conf中的slaves文件，新增内容 slaves15 三、将master机上的hosts文件与hadoop安装文件复制到slaves15上 四、格式化namenode 五、重新启动hadoop集群，通过查看10.61.
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值