初学Hadoop——HDFS命令行客户端使用

最新推荐文章于 2024-09-17 15:29:48 发布

caroline_richboom

最新推荐文章于 2024-09-17 15:29:48 发布

阅读量728

点赞数

分类专栏： linux hadoop 文章标签： hadoop linux

本文链接：https://blog.csdn.net/qq_45154565/article/details/109180824

版权

本文介绍了HDFS的基础知识，包括其在Hadoop生态系统中的重要性，并详细阐述了在Ubuntu环境中配置Hadoop 2.7.1进行HDFS操作的步骤。通过各种Shell命令，如fs、dfs，演示了创建、查看、删除目录和文件，以及上传、下载数据到HDFS等实践操作。

摘要由CSDN通过智能技术生成

一、HDFS简介及其基本概念

HDFS（Hadoop Distributed File System）是hadoop生态系统的一个重要组成部分，是hadoop中的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS中的数据。HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬件集群内的不同机器上。

二、实验环境

操作系统：Ubuntu64位
Hadoop版本：Hadoop 2.7.1
Jdk版本：jdk-8u241-linux-x64

三、实践内容

注意：
开头的Shell命令方式，有三种shell命令方式：

hadoop fs # hadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统
hadoop dfs # hadoop dfs只能适用于HDFS文件系统
hdfs dfs #hdfs dfs跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统

1、在使用HDFS命令行操作前，需要先启动Hadoop

命令：

cd /usr/local/hadoop
./sbin/start-dfs.sh #启动hadoop

实践：
在这里插入图片描述

2、Hadoop支持很多Shell命令，其中fs是HDFS最常用的命令，利用fs可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。

命令：

hadoop fs #查看fs总共支持了哪些命令

实践：
在这里插入图片描述

3、查看具体某个命令的作用

命令：

hadoop fs -help put#查看put命令的作用

实践：

在这里插入图片描述

4、利用Shell命令与HDFS进行交互

（1）目录操作

①第一次使用HDFS时，需要首先在HDFS中创建用户目录。

命令：

cd /usr/local/hadoop
hdfs dfs –mkdir –p /user/Hadoop  #在HDFS中创建一个“/user/hadoop”目录，“–mkdir”是创建目录的操作，“-p”表示如果是多级目录，则父目录和子目录一起创建，这里“/user/hadoop”就是一个多级目录，因此必须使用参数“-p”，否则会出错。

实践：

在这里插入图片描述