❤️❤️❤️分布式HDFS部署和shell指令

已于 2024-05-04 20:28:17 修改
阅读量909 收藏 13
点赞数 22
文章标签： 分布式 hdfs hadoop
于 2024-04-02 17:58:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DrKYQ/article/details/137279041
版权

目录

一、分布式的基础架构分析

二、HDFS的基础架构

三、HDFS集群环境部署

（1.）前期准备:

(2.)下载hadoop安装包:

四、HDFS的服务启停

（1.）对整个hadoop服务的启动和关闭

（2.）一键启停hdfs集群

（3.）单起单停

 五、HDFS的Shell操作

六、HDFS webUI的使用（了解）

一、分布式的基础架构分析

集群架构模式:

主从架构(中心化):

  • 主角色 master: 发号施令,负责任务的接受和分配

  • 从角色 slave: 负责干活

主备架构:可以解决中心化存在的问题

  • 主角色active : 正常工作

  • 备角色standby : 观察主角色工作,并实时备份主角色数据,当主角色宕机后,立即上位.

去中心化模式 : 例如区块链

hadoop中的HDFS集群和Yarn集群都是主从模式架构.

二、HDFS的基础架构

HDFS的角色分配:

NameNode:是集群中的主角色或主节点,负责 DataNode的管理工作

DataNode:是集群中的从角色或从节点, 负责数据文件的读或写

SecondaryNameNode: 是集群中的辅助角色或辅助节点,负责帮助NameNode完成管理工作(负责元数据的合并工作).

NN在开发中只有一个主服务，容易出现单点故障，在主从架构中，一旦主服务不可用，整个服务都不可用

使用主备方式解决单点故障

运行多个NN，但是对外处理请求的只有一个

一般公司选择是一主一备方案

一个典型的HDFS集群中会有多个DataNode,但是活跃的NameNode只能有一个,如果集群资源不足,则需要扩展DataNode节点数量.如果元数据管理能力不足,则需要给namenode提升服务器性能.

HDFS是一个标准的主从架构

注意: 通常情况下, NameNode的服务器性能,要比DataNode高.(cpu和内存大)

三、HDFS集群环境部署

（1.）前期准备:

  1. 有三台服务器

  2. 验证服务器的网络畅通

  3. 可以进行ssh免密登录

  4. 关闭防火墙及selinux

  5. 安装jdk

  6. 时间同步

(2.)下载hadoop安装包:

Apache Hadoopicon-default.png?t=N7T8https://hadoop.apache.org/releases.html

Index of /dist/hadoop/commonicon-default.png?t=N7T8https://archive.apache.org/dist/hadoop/common/

官网下载的hadoop安装包不能直接使用,需要进行编译后才可以使用

但是我们自己下载编译的安装包会出现警告

由于官网给我们的是最大化编译,在linux windows 和 mac平台中都能够运行,但是在linux运行时,与windows和mac相关的代码会报警告,在windows 和mac运行时一样

为了解决警告问题我们对于安装包一般会从新编辑后再编译

我们已经给大家编译好了对应的安装包,直接使用即可.

hadoop用户创建,并配置免密登录

此处我们使用root用户权限进行环境部署,但是在企业开发中,会创建一个普通用户用户环境部署,而root用户负责将部署时需要的权限分配给普通用户

  1. 将hadoop安装包上传到/export/software目录下

  2. 将该安装包进行解压

cd /export/software
tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C ../server

  1. 创建一个软连接

cd /export/server
ln -s hadoop-3.3.0/ hadoop

  1. 修改配置文件

先进入配置文件的文件目录

cd /export/server/hadoop/etc/hadoop/

四、HDFS的服务启停

（1.）对整个hadoop服务的启动和关闭

会将hadoop中的hdfs，yarn服务都会启动

start-all.sh
​
stop-all.sh

（2.）一键启停hdfs集群

下方指令是针对于整个hdfs的启停.在node1中执行该命令, node2, node3中的服务都会被启动. 前提是免密登录

# 一键启动
start-dfs.sh 
# 一键停止
stop-dfs.sh

（3.）单起单停

# 只能控制当前服务器中服务的启停
hdfs --daemon start|stop|status

namenode|datanode|secondarynamenode

使用浏览器访问服务，验证服务器是否启动

namenode所在服务器的ip地址:9870

192.168.88.100:9870

 五、HDFS的Shell操作

hdfs的文件结构和linux中基本一致 : 树状结构

hdfs中也划分目录和文件,目录只能存储子目录和文件, 文件只能存储数据

文件和数据的区别???

文件是用来存储数据的,磁盘中数据以文件的形式存储起来,方便后续查找使用,数据不一定以文件的形式展示.

hdfs的shell命令格式:

# 新写法
hdfs dfs -命令 [-选项] [参数]
# 老写法
hadoop fs -命令 [-选项] [参数]

注意: 在hdfs dfs - 之后或hadoop fs -之后和linux终端指令基本没有区别

六、HDFS webUI的使用（了解）

我们可以使用node1:9870打开hdfs的网页端,但是前提是必须配置windows系统下的主机映射,否则只能使用ip访问

192.168.88.100:9870

打开C:\Windows\System32\drivers\etc\hosts文件

在下方写入主机映射内容

192.168.88.100 node1 node1.itcast.cn
192.168.88.101 node2 node2.itcast.cn
192.168.88.102 node3 node3.itcast.cn

DrKYQ
关注
  • 22
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
大数据-HDFS的Shell操作
m0_62492032的博客
12-13 1160
将/ied01/book.txt复制到/ied02目录，改名为read.txt，执行命令：hdfs dfs -cp /ied01/book.txt /ied02/read.txt。将/ied01/exam.txt更名为/ied/test.txt，执行命令：hdfs dfs -mv /ied01/exam.txt /ied01/test.txt。创建待上传文件存放的目录/export/data/logs/toupload，执行命令：mkdir -p /export/data/logs/toupload。
分布式HDFS部署和shell指令
04-02
HDFS目录文件
黑马大数据学习笔记2-HDFS环境部署
weixin_45735391的博客
07-11 2317
HDFS环境部署
HDFS简介与部署
难得糊涂
04-09 3967
Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。
分布式文件系统HDFS的部署（学习笔记）
最新发布
2301_76869904的博客
04-27 1116
admin@n1 ~]$ scp hadoop-3.3.1.tar.gz n2:/home/admin/ 私钥 private key。加密的密钥-->公钥 public key。上传文件jdk-8u261-linux-x64.rpm。加密的密钥和解密的密钥相同。加密的密钥和解密的密钥不同。
大数据开源框架环境搭建(四)——HDFS完全分布式集群的安装部署
木子一个Lee的博客
02-17 2692
普通用户下大部分命令需要加sudo，root模式下不用。如果怕麻烦，直接在root用户下操作。本框架的分布式集群如下图所示(IP地址不一定跟图中一样)
Hadoop框架---HDFS的Shell命令操作
丷江南南的博客
04-27 1907
其有很多命令，但在生产环境中我们经常使用的命令并没有那么多，因此需要时再回头查阅上图中的命令即可。put命令和copyFromLocal命令有着相同的复制效果，所以我们。这里我们把3台服务器各自对应的节点都打开了，为了方便后续测试。在使用shell命令前，一定要确保我们的Hadoop。自由选择以上任意一种语法格式。跳转到Web端的HDFS，处于。
2、HDFS操作 - shell客户端
05-29
2、HDFS操作 - shell客户端 网址：https://blog.csdn.net/chenwewi520feng/article/details/130325405 本文介绍hdfs的shell操作，本文的前提是hdfs的功能正常运行。 本文分为2个部分介绍，即语法格式与具体示例。
Hadoop分布式文件系统HDFS介绍
01-30
HDFS是HadoopDistributeFileSystem的简称，也就是Hadoop分布式文件系统。1、硬件错误是常态错误检测并快速自动恢复是HDFS的最核心设计目标2、存储超大文件HDFS适合大量存储，总存储量可以达到的PB、EB级HDFS适合大...
第二章 HDFS的Shell操作.pptx
08-10
HDFS的Shell操作，bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类等等。
分布式存储系统-HDFS.docx
10-01
分布式文件系统与 HDFSHDFS 体系结构与基本概念★★★  HDFS 的 shell 操作★★★  搭建 eclipse 开发环境★★  java 接口及常用 api★★★  hadoop 的 RPC 机制★  hadoop 读写数据的过程分析★★
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 2545
HDFS HA 高可用搭建详细图文教程
Hadoop安装部署&全分布式搭建
CyAurora的博客
07-17 1756
1. 完全分布式模式介绍 完全分布式，指的是在真实环境下，使⽤多台机器，共同配合，来构建⼀个完整的分布式 ⽂件系统。 在真实环境中，hdfs中的相关守护进程也会分布在不同的机器中，⽐如： -1. namenode守护进程尽可能的单独部署在⼀台硬件性能相对来说⽐较好的机器中。 -2. 其他的每台机器上都会部署⼀个datanode守护进程，⼀般的硬件环境即可。 -3. secondarynamenode守护进程最好不要和namenode在同⼀台机器上。 2. 平台软件说明 .
「大数据-2.0」安装Hadoop和部署HDFS集群
look_outs的博客
09-24 585
一、下载Hadoop安装包 二、安装Hadoop 三、配置环境变量 四、为Hadoop用户授权 五、格式化HDFS文件系统 六、拍摄快照保存配置好的虚拟机 七、启动和关闭HDFS集群
hadoop 分布式文件系统的部署
weixin_54720351的博客
04-30 2179
hadoop 分布式文件系统的部署 2. 集群 虚拟集群的搭建 （1）创建用户 hadoop ，给创建的用户设定密码； [root@server1 ~]# useradd hadoop ##新建用户，以普通用户的身份去搭建 hadoop 平台 [root@server1 ~]# echo westos | passwd --stdin hadoop Changing password for user hadoop. passwd: all authentication tokens updat
Hadoop+Hdfs+Hbase+Kafka+Zookeeper集群搭建
Boxbiu的博客
12-26 4151
本文详细介绍了基于centos7的Hadoop集群的搭建过程，给出了Hadoop的基础知识和项目搭建的流程，搭建了一个master结点和两个slave结点的Hadoop集群，在master和slave服务器上配置HDFS(hadoop分布式文件系统) ,HBase(集群数据库)，zookeeper(集群维护服务),以及 kafka（消息队列），同时详细给出搭建过程和测试结果，并对搭建过程遇到的bug进行详细的记录
hadoop的HDFS的shell命令大全（一篇文章就够了）
热门推荐
m0_43405302的博客
12-30 2万+
HDFS的shell命令 1、安全模式 安全模式：集群启动时，DN所有的DN都必须向MM汇报磁盘使用状态和block存储信息。在此之前出于对hdfs的保护，会禁止访问hdfs，此状态为安全模式 1.查看安全模式状态 #查看安全模式状态 hdfs dfsasmin --safemode get #-状态- on|off #----- 2.手工开启安全模式状态 #手工进入安全模式 hdfs dfsasmin --safemode enter 3.手工关闭安全模式状态 #手工退出安全模式 hdfs dfsas
【Hadoop_03】HDFS概述与Shell操作
12-11 1428
1）各个模块分开启动/停止（配置ssh是前提）常用（1）整体启动/停止HDFS（2）整体启动/停止YARN2）各个服务组件逐一启动/停止（1）分别启动/停止HDFS组件（2）启动/停止YARN一般都是按照集群来启动，不然如果有100+台服务器的话，就无法启动了1）HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。
HDFS的shell操作
m0_73693938的博客
11-18 1393
一、导入新课 上一节中，主要讲解了HDFS的架构和原理，使得学生更深入的了解HDFS的底层架构以及读写数据的原理，那我们该如何访问HDFS呢？HDFS提供了多种数据访问方式，而Shell命令行方式是最简单的，也是许多开发者最容易掌握的方式，本节将针对HDFS的Shell操作进行详细讲解。 二、新课讲解 （一）HDFS的Shell介绍 Shell在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作，Shell分为图形界面Shell和命令行式Shell。
linux分布式hdfs找不到命令
04-29
如果你在使用 Linux 分布式 HDFS 时找不到命令，可能是因为你的环境变量没有正确设置。在 HDFS 中，所有的命令都在 bin 目录下，所以你需要将该目录添加到 PATH 环境变量中。可以通过以下命令来设置环境变量： ``` export PATH=$PATH:/path/to/hdfs/bin ``` 其中，`/path/to/hdfs` 是你的 HDFS 安装路径。如果你希望每次启动终端时都自动设置环境变量，可以将上述命令添加到你的 shell 配置文件中，例如 `~/.bashrc` 或 `~/.zshrc`。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值