Hadoop中的常见的shell命令

北方的南先生28

于 2022-07-20 22:03:27 发布

阅读量428

点赞数

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/qq_59662241/article/details/125901658

版权

hadoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1、如何将linux本地的数据上传到HDFS中呢？
hadoop fs -put 本地的文件 HDFS中的目录
hdfs dfs -put 本地的文件 HDFS中的目录

2、如何创建HDFS中的文件夹呢？
需求：想创建/shujia/bigdata17
hadoop fs -mkdir /shujia/bigdata17
hdfs dfs -mkdir /shujia/bigdata17

3、查看当前HDFS目录下的文件和文件夹
hadoop fs -ls /shujia/bigdata17
hdfs dfs -ls /shujia/bigdata17

4、将HDFS的文件下载到Linux本地中
hadoop fs -get HDFS中的文件目录本地要存放文件的目录
hdfs dfs -get HDFS中的文件目录本地要存放文件的目录

5、删除命令（如果垃圾回收站大小小于被删除文件的大小，直接被删除，不经过回收站）
hadoop fs -rm .... # 仅删除文件
hadoop fs -rmr .... # 删除文件夹

6、移动文件
hadoop fs -mv 目标文件目的地路径

7、HDFS内部复制文件
hadoop fs -cp [-p] ... ... # 如果想复制文件夹，加上-p参数

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

北方的南先生28

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Hadoop常用shell命令

xixixixiaozai的博客

05-17

280

Hadoop常用shell命令

Hadoop_shell脚本

qq_58243412的博客

03-20

3311

1、什么是shell Shell（外壳）是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。 Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。什么是脚本？脚本简单地说就是一条条的文字命令，这些文字命令是可以看到的（如可以用记事本打开查看、编辑）。常见的脚本： JavaScript（JS，前端），VBScript， ASP，JSP，PHP（后端），SQL（数据库操作语言），Perl，She

参与评论您还未登录，请先登录后发表或查看评论

Meet_again007的博客

07-20

401

Hadoop的shell命令 Hadoop介绍：https://www.cnblogs.com/ToDoNow/p/9647939.html https://www.cnblogs.com/codeOfLife/p/5375120.html 统一格式：hadoop fs 1: 文件查询： >>hadoop fs -ls / 2：创建文件夹： &gt...

Hadoop 常用 Shell 命令

曾有樱花落海洋

03-03

1269

Hadoop shell命令 1、说明 Hadoop的操作命令基本分为几大类. hadoop xxx : hdfs xxxx: yarn xxxx: 等等等 2、hadoop 系统命令查看Hadoop版本 hadoop version 压缩文件 hadoop archive -archiveName NAME ...

Hadoop Shell命令

weixin_30800807的博客

09-14

FS Shell 调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用...

【Hadoop】(shell) Hadoop常用的shell命令

weixin_42804692的博客

08-23

364

文章目录catchgrpchmodchowncopyFromLocalcopyToLocal FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目

Hadoop 中 HBase Shell命令的详解

08-29

Hadoop 中 HBase Shell 命令的详解 Hadoop 中 HBase Shell 命令是 HBase 的一种交互式 Shell，用于与 HBase 进行交互式通信。HBase 使用 Hadoop 文件系统来存储数据，所有的任务都发生在 HDFS 上。HBase Shell 命令...

hadoop集群中常用shell脚本收集

01-09

感谢我关注的朋友，我亦无他，收集整理的大部分脚本。群发脚本XSync(xsync) #!/bin/bash #1 获取参数，如果不够直接退出 pcount=$# if ((pcount==0)); then echo 没有输入需要传递的文件或文件夹！！; exit; fi #2 ...

hadoop 部分 shell 脚本

最新发布

11-15

二、Hadoop Shell脚本中的常用命令 1. **HDFS操作**： - `hadoop fs -ls`: 查看HDFS目录或文件信息。 - `hadoop fs -put`: 将本地文件上传到HDFS。 - `hadoop fs -get`: 从HDFS下载文件到本地。 - `hadoop fs -...

Hadoop shell常用命令

10-22

该文档记录了在linux的shell环境下执行的hadoop的相关操作命令，包括多hafs文件的相关操作

hadoop2安装和常用shell命令

03-21

hadoop2安装和常用shell命令,

Hadoop之常用Shell命令

绣花针

01-30

1816

目录一、启动命令 1.启动Hadoop所有进程 2.单进程启动（推荐）二、常用Shell命令 1.查看指定目录下内容 2.查看某个文件内容 3.将本地文件存储至hadoop 4.将本地文件夹存储至hadoop 5.将hadoop上某个文件下载至本地已有目录下 6. 删除hadoop上指定文件 7.删除hadoop上指定文件夹（包含子目录等） 8.在hadoop指定目录...

Hadoop-HDFS的shell常用命令操作

prefect_start的博客

06-13

579

1、常用命令操作 1.1、-help：输出这个命令参数 hadoop fs -help put 1.2、-ls: 显示目录信息 hadoop fs -ls / 1.3、-mkdir：在HDFS上创建目录 hadoop fs -mkdir /sanguo 1.4、-moveFromLocal：从本地剪切粘贴到HDFS hadoop fs -moveFromLocal weiguo.txt /sanguo 1.5、-copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去 had

Hadoop shell

royesir的专栏

07-19

1237

<br /><br />1 Hadoop shell<br />1.1 引言<br />调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/pa

部分常用操作hadoop的shell命令

hpccph15的博客

02-10

251

查询分布式文件系统根目录：hadoop fs -ls hdfs://ip:9000/ 若已在配置文件中默认为hdfs，上一条还可写为：hadoop fs -ls / 查询本地文件系统根目录：hadoop fs file:/// 查询：hadoop fs -ls [-h] [-R] 具体文件路径 [-h] 表示显示文件时文件大小会带上具体单位，比如kb。 [-R] 表示递归显示，比如文件夹中还有...

Hadoop shell 常用命令总结

Leopoldxie的博客

07-04

175

-cat URI [URI …] 将路径指定文件的内容输出到stdout ...

Hadoop提供的Shell命令完成相同任务

weixin_30762087的博客

04-26

1901

在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. mkdir hadoop cd hadoop touch test.txt gedit test.txt 在本地查看文件位置（ls） ls -al 在本地显示文件内容 cat test.txt 使用命令把本地文件系统中的“txt”上...

Hadoop常用Shell操作

大数据学习

03-27

344

一、普通操作命令： hadoop fs 适用于任何不同文件系统，比如本地文件系统和HDFS文件系统 hadoop 只能适用于HDFS文件系统 hdfs fs 跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统常用普通命令： 1.创建目录 -mkdir -p 加上-p表示递归创建目录 2.查看目录 -ls -ls -R 查看目录...

Hadoop文件系统Shell命令详解

"这篇文档介绍了Hadoop Shell命令的使用，包括如何调用FSShell以及几个常见的文件系统操作，如`cat`、`chgrp`和`chmod`等。" 在Hadoop环境中，管理和操作分布式文件系统通常通过Hadoop Shell命令来实现。`bin/...