Hadoop的基础操作

已于 2025-04-07 15:31:16 修改
阅读量3.9k 收藏 36
点赞数 3
分类专栏： 大数据 文章标签： hadoop 大数据 hdfs
于 2023-05-25 09:05:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44715376/article/details/130824451
版权

Hadoop的基础操作

  • HDFS是Hadoop的分布式文件框架，它的实际目标是能够在普通的硬件上运行，并且能够处理大量的数据。
  • HDFS采用主从架构，其中由一个NameNode和多个DataNode
    • NameNode负责管理文件系统的命名空间和客户端的访问
    • DataNode负责存储实际的数据块

HDFS的基本操作包括文件的上传，下载，删除，重命名等

文件操作

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lM0WhMnI-1684976584539)(E:\Java笔记\大数据\Hadoop\Hadoop的基础操作\Hadoop的基础操作.assets\image-20230522092333144.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EOfiOqXm-1684976584540)(E:\Java笔记\大数据\Hadoop\Hadoop的基础操作\Hadoop的基础操作.assets\image-20230522092349584.png)]

手动创建文件夹：

语法：

hadoop fs -mkdir <HDFS文件路径>

示例：

# 创建文件夹（根目录创建名为input的文件夹）
[root@master ~]# hadoop fs -mkdir /input

# 创建文件夹（根目录创建名为user的文件夹）
[root@master ~]# hdfs dfs -mkdir /user

# 创建多级目录
[root@master ~]# hdfs dfs -mkdir -p /user/resource/example

手动上传文件

语法：

hadoop fs -put <本地文件路径> <HDFS文件路径>

示例：

# 将本地/usr/text.txt 文件上传到input文件下
[root@master ~]# hadoop fs -put /usr/text.txt /input

# 将本地/usr/text.txt 文件上传到input文件下。-copyFromLocal：本地复制
[root@master ~]# hdfs dfs -copyFromLocal /usr/text.txt /user

# 将本地/usr/text.txt 文件上传到input文件下
[root@master ~]# hdfs dfs -put /usr/text.txt /input

# 将本地/usr/text.txt 文件上传到input文件下。-moveFromLocal：本地迁移
[root@master ~]# hdfs dfs -moveFromLocal /usr/text.txt /user

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9osLRhW3-1684976584541)(E:\Java笔记\大数据\Hadoop\Hadoop的基础操作\Hadoop的基础操作.assets\image-20230522094753675.png)]

查看文件

[root@master ~]# hadoop fs -ls /

[root@master ~]# hdfs dfs -ls /

下载文件

语法：

hadoop fs -get <HDFS文件路径> <本地路径>
hadoop fs -copyToLocal <HDFS文件路径> <本地路径>

示例：

# 将user/text.txt文件下载到本地/usr/local/下      -copyToLocal：复制到本地
[root@master ~]# hadoop fs -copyToLocal /user/text.txt /usr/local/
[root@master ~]# cd /usr/local/
[root@master local]# ll
-rw-r--r--.  1 root   root           0 5月  22 09:51 text.txt

[root@master ~]# hdfs dfs -copyToLocal /user/text.txt /usr/local/
[root@master ~]# cd /usr/local/
[root@master local]# ll
-rw-r--r--.  1 root   root           0 5月  22 09:51 text.txt


# 将user/text.txt文件下载到本地/usr/local/下
[root@master local]# hadoop fs -get /user/resource/text.txt /usr/local
[root@master local]# ll
-rw-r--r--.  1 root   root           0 5月  22 09:54 text.txt
# 将user/text.txt文件下载到本地/usr/local/下
[root@master local]# hdfs dfs -get /user/resource/text.txt /usr/local
[root@master local]# ll
-rw-r--r--.  1 root   root           0 5月  22 09:54 text.txt

查看文件内容

语法：

hdfs dfs -cat <HDFS文件路径>

示例：

[root@master local]# hdfs dfs -cat /input/text.txt
hello ,hadoop

[root@master local]# hdfs dfs -tail /input/text.txt
hello ,hadoop

删除文件

语法：

hadoop fs -rm <HDFS文件路径>

示例：

# 删除文件夹
[root@master ~]# hdfs dfs -mkdir /user/resource
[root@master ~]# hdfs dfs -rmdir /user/resource
[root@master ~]# hadoop fs -rm -f /user/resource

# 删除文件
[root@master ~]# hdfs dfs -rm /user/resoure/text.txt
[root@master ~]# hadoop fs -rm -r /user/resource/text.txt

文件重命名

语法：

hadoop fs -mv <HDFS文件路径> <HDFS文件路径>

示例：

[root@master ~]# hadoop fs -mv /input/test.txt /input/demo.txt

文件修改权限

在这里插入图片描述

1）第一种方式：使用符号方式

HDFS 中可以通过符号模式来修改文件或目录的权限。这种方式与 Linux 中的 chmod 命令相似，能够通过指定用户、组、其他人（u、g、o）和权限（rwx）来修改文件权限。

语法：

hadoop fs -chmod [选项] 模式 文件或目录

  • 选项

    • R：递归处理，适用于目录及其所有子文件和子目录。

  • 模式：

    {ugoa}{+-=}{rwx}
    • u：代表所属者（user）。
    • g：代表所属组（group）。
    • o：代表其他人（others）。
    • a：代表所有人（all，即u、g、o的总和）。
    • +：添加权限。
    • -：删除权限。
    • =：设置明确的权限。

例如：

  • u+x：给所属者添加执行权限。
  • g-w：给所属组去掉写权限。
  • a=r：给所有人设置为只读权限。

示例：

  1. 给所属者添加执行权限：

    hadoop fs -chmod u+x /user/hadoop/myfile.txt

  2. 给所有人添加读权限：

    hadoop fs -chmod a+r /user/hadoop/myfile.txt

  3. 递归给所有文件和目录添加读写权限：

    hadoop fs -chmod -R a+rw /user/hadoop/mydir
2）第二种方式：使用八进制模式

八进制模式（数字模式）来修改权限，这种方式同样是 Linux 中常见的方式。在 HDFS 中，使用八进制模式时，数字代表特定的权限值。

chmod [选项] [八进制模式] 文件或目录
  • 选项
    • R：递归处理
  • 八进制模式
    • r（读权限）= 4
    • w（写权限）= 2
    • x（执行权限）= 1
    • wx=2+1=3
    • rx=4+1=5
    • rw=4+2=6
    • rwx=4+2+1=7

示例：

  1. 设置文件 myfile.txt 的权限为 755：

    hadoop fs -chmod 755 /user/hadoop/myfile.txt

    这表示：

    • 所有者有读、写、执行权限（7）。
    • 所属组和其他人有读、执行权限（5）。

  2. 设置目录 mydir 的权限为 777：

    hadoop fs -chmod 777 /user/hadoop/mydir

    这表示所有人都具有读、写和执行权限。

  3. 递归设置所有文件和子目录权限为 644：

    hadoop fs -chmod -R 644 /user/hadoop/mydir

查看集群的基本信息

[root@master ~]# hdfs fsck /
Connecting to namenode via http://192.168.184.130:50070/fsck?ugi=root&path=%2F
FSCK started by root (auth:SIMPLE) from /192.168.184.130 for path / at Tue May 23 10:42:27 CST 2023


/input/text.txt:  Under replicated BP-399935676-192.168.184.130-1684307575827:blk_1073741825_1001. Target Replicas is 3 but found 1 live replica(s), 0 decommissioned replica(s), 0 decommissioning replica(s).

Status: HEALTHY
 Number of data-nodes:  1
 Number of racks:               1
 Total dirs:                    6
 Total symlinks:                0

Replicated Blocks:
 Total size:    13 B
 Total files:   3
 Total blocks (validated):      1 (avg. block size 13 B)
 Minimally replicated blocks:   1 (100.0 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       1 (100.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    3
 Average block replication:     1.0
 Missing blocks:                0
 Corrupt blocks:                0
 Missing replicas:              2 (66.666664 %)
 Blocks queued for replication: 0

Erasure Coded Block Groups:
 Total size:    0 B
 Total files:   0
 Total block groups (validated):        0
 Minimally erasure-coded block groups:  0
 Over-erasure-coded block groups:       0
 Under-erasure-coded block groups:      0
 Unsatisfactory placement block groups: 0
 Average block group size:      0.0
 Missing block groups:          0
 Corrupt block groups:          0
 Missing internal blocks:       0
 Blocks queued for replication: 0
FSCK ended at Tue May 23 10:42:27 CST 2023 in 18 milliseconds


The filesystem under path '/' is HEALTHY

在Hadoop的集群的基本信息主要包含分布式文件系统HDFS和分布式资源管理YARN

分布式文件系统HDFS主要包含文件系统的状态，是否有块丢失，备份丢失等，同时包含集群节点状态等。

分布式资源管理YARN主要包含集群节点状态，节点资源（内存，CPU等），队列状态等

Hadoop安全模式

  • 安全模式是保证系统保密性，完整性及可使用性的一种机制，一定程度上可以防止系统里的资源遭到破坏，更改和泄露，使得整个系统持续，可靠的正常运行。

  • Hadoop集群也有安全模式，在安全模式下可保证Hadoop集群中数据块的安全性。对Hadoop集群可以进行查看安全模式，解除和开启安全模式的操作，

查看namenode是否处于安全模式

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XDZd0DrY-1684976584541)(E:\Java笔记\大数据\Hadoop\Hadoop的基础操作\Hadoop的基础操作.assets\image-20230523105942500.png)]

[root@master ~]# hdfs dfsadmin -safemode get
Safe mode is OFF

进入安装模式

[root@master ~]# hdfs dfsadmin -safemode enter
Safe mode is ON

解除安全模式

[root@master ~]# hdfs dfsadmin -safemode leave
Safe mode is OFF

执行MapReduce任务

语法：

hadoop jar <jar包名称> <MapReduce程序类名> <输入路径> <输出路径>

示例：

[root@master ~]# hadoop jar wordcount.jar WordCount /user/hadoop/input /user/hadoop/output

启动集群

启动hadoop集群需要先启动NameNode和DataNode

start-dfs.sh
start-yarn.sh

停止集群

停止hadoop集群需要先停止YARN和HDFS

stop-dfs.sh
start-yarn.sh

官方文档

Hadoop文档 (apache.org)

hadoop基本操作
主攻大数据 人工智能 物联网 安全 低空经济等方向。mtsc 、gtest特邀分享嘉宾
10-31 1463
第一节：HDFS的相关命令     -mkdir            在HDFS创建目录    hdfs dfs -mkdir /data     -ls               查看当前目录      hdfs dfs -ls /     -ls -R            查看目录与子目录     -put              上传一个文件      hdfs dfs -put d...
Hadoop学习<二>--HDFS文件系统操作方式
zeb_perfect的专栏
12-11 1518
linux用户身份与群组记录的文件 cat /etc/group                查看用户组 cat /etc/shadow              查看个人密码 cat /etc/passwd              查看用户相关信息 这三个文件可以说是：账号，密码，群组    信息的的集中地！ w或who                            查
【HDFS】HDFS 的常用命令
热门推荐
书山有路，学海无涯。记录成长，追逐梦想
09-20 1万+
操作命令是以 hdfs dfs 开头的命令。通过这些命令，用户可以完成 HDFS 文件的复制、删除和查找等操作，Shell 命令的一般格式如下。
Hadoop
最新发布
qq_41893505的博客
02-28 1032
构成了一个强大的大数据处理架构。同时，围绕 Hadoop 发展出了 Spark、Hive、Flink、Kafka 等生态组件，使其在。YARN 是 Hadoop 2.0 引入的资源管理系统，主要负责任务调度和资源管理。MapReduce 是 Hadoop 早期的计算框架，采用。HDFS 负责存储大规模数据，采用。Hadoop 的核心架构主要包括。
hadoop HDFS常用文件操作命令
weixin_33901926的博客
04-14 4664
命令基本格式: hadoop fs -cmd < args > 1.ls hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件 2.put hadoop fs -put < local file &...
Hadoop基本操作命令
weixin_34320159的博客
09-18 295
Hadoop基本操作命令 在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。 假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。 启动与关闭 启动Hadoop 1. 进入HADOOP_HOME目录。 2. 执行sh bin/start-all.sh 关闭Hado...
hadoop基础操作
gg_xiajie的博客
06-23 2077
Hadoop基础操作 传送门：hadoop集群搭建 https://blog.csdn.net/gg_xiajie/article/details/118095901 前面写完了hadoop集群的安装，算是初步开始学习了。。。 本章学习下hadoop的一些基本操作。 一、HDFS 启动hadoop之后可以打开hdfs的可视化页面 http://hadoop01:9870/ 可视化的文件系统在 这里是部分数据我练习的时候插入好了的 手动上传文件到hdfs，命令： # 创建文件夹（根目录创建名为input
Hadoop中的一些基本操作
yuyi_000的博客
01-27 635
转自：http://my.oschina.net/kevin701/blog/228684 这个如果用在公司里部署的 hadoop 环境 把 -fs 改成 -dfs    先粗略说一下“hadoop fs”和“hadoop dfs”的区别：fs是各比较抽象的层面，在分布式环境中，fs就是dfs，但在本地环境中，fs是local file system，这个时候dfs不可用。
hadoop基本操作.docx
10-28
【Hadoop基本操作详解】 Hadoop是一个开源框架，主要...总之，掌握Hadoop的HDFS基本操作是进入大数据世界的关键一步，这不仅可以帮助你管理和操作数据，也为后续深入学习MapReduce、YARN等Hadoop组件打下坚实基础。
Hadoop操作手册
08-27
Hadoop 入门操作手册，配置Hadoop操作环境，简单上手，适合入门学习。
Hadoop操作命令
11-21
本文档是关于大数据hadoop生态圈中hdfs组件的一些常用操作命令详解和使用方法
实验2 Hadoop基本操作.docx
07-27
【Hadoop基本操作详解】 Hadoop是一个开源框架，主要用于处理和存储大规模数据，尤其适合非结构化的分布式数据。它的核心组件主要包括Hadoop MapReduce和Hadoop Distributed File System（HDFS）。MapReduce是处理...
数据科学导论实验报告 实验1：常用Linux操作和 Hadoop操作
04-30
本实验报告主要涵盖了两个核心部分：Linux操作系统的基本操作和Hadoop分布式文件系统的使用。 在Linux部分，实验旨在使学生熟悉一系列基础命令，这对于任何在Linux环境中工作的数据科学家都是必不可少的技能。例如...
Hadoop大数据开发基础.rar
10-14
【实例简介】 ...│ └── Hadoop基础操作.ppt ├── 第4章 │ └── MapReduce入门编程.ppt ├── 第5章 │ └── MapReduce高级编程.ppt └── 第6章 └── 基于knn的电影网站用户性别预测.ppt
hadoop的基础操作
2301_78172425的博客
05-11 1007
hadoop是一个由基金会所开发的。hadoop的框架最核心的设计就是HDFS和MapReduce，HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。hadoop具有高容错性，常部署在低廉的硬件上，而且它拥有高吞吐量，可以更好地访问应用程序中的数据，适合有着大数据集的应用程序，可以使用户在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。
Hadoop基本操作
cjy_lean的博客
05-15 468
HDFS操作 1 HDFS文件上传 2 HDFS文件下载 3 定位文件读取 4 HDFS写数据流程 客户端向NameNode请求上传文件(test.txt) NameNone向客户端响应可以上传文件 客户端请求上传第一个Block(0-128m),请返回DataNode NameNone给客户端返回dataNode2, dataNode2节点,表示采用节点存储数据 客户端请求每一个dataNode节点建立Block传输通道 每一个dataNod...
Hadoop基础操作
Karse_的博客
05-23 267
克隆新增服务器基础操作 1、修改服务器IP地址 ,先su切换root用户，修改IP地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33 ​ 2、修改主机名 vim /etc/hostname 3、删除节点信息。 在Hadoop目录下 rm -rf data/ logs 按需修改xsync分配脚本，jpsall查询启动组件脚本（xsync和jpsall为自己写的脚本。xsync用于向各节点分发文件，jpsall用于对所有服务器查看java进程） 4、在设置
常用的linux命令和Hadoop操作是小猪猪
02-25
### 常用 Linux 命令 #### 切换目录 `cd` 是用来改变当前工作目录的命令。例如，要切换到 `/usr/local` 目录可以执行如下命令[^1]: ```bash cd /usr/local ``` #### 查看文件列表 `ls` 用于显示指定工作目录下的内容。可以通过 `-l` 参数查看更详细的文件信息: ```bash ls -l ``` #### 创建新目录 `mkdir` 可创建新的空目录，在给定路径下建立子目录: ```bash mkdir new_directory_name ``` #### 文件复制 `cp` 用于拷贝文件或目录。比如将 `source_file.txt` 复制为 `destination_file.txt` : ```bash cp source_file.txt destination_file.txt ``` 对于 HDFS 中的数据传输至本地系统可采用特定指令[^3]: ```bash hdfs dfs -copyToLocal /user/hadoop/test/.bashrc /usr/local/hadoop/ ``` ### Hadoop 操作教程 #### 启动 Hadoop 集群服务 启动所有 Hadoop 的守护进程之前需确保配置无误并已初始化好环境变量。通常情况下会通过脚本来完成这一系列动作: ```bash start-dfs.sh start-yarn.sh ``` #### 访问 HDFS 文件系统 利用 `hdfs dfs` 或者简称 `hadoop fs` 来浏览和管理位于 HDFS 上面的对象。下面是一些基本的操作实例: - 显示根目录下的文件结构: ```bash hdfs dfs -ls / ``` - 在 HDFS 下新建一个名为 'example' 的文件夹: ```bash hdfs dfs -mkdir /example ``` - 将本地文件上传到 HDFS: ```bash hdfs dfs -put localfile /user/hadoop/hdfspath ``` 这些只是入门级别的介绍；实际上还有更多高级特性和功能等待探索。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

陆卿之SIN

你的鼓励将是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值