【大数据入门核心技术-Hadoop】（七）Hadoop基本Shell命令行

已于 2023-02-18 21:39:34 修改
阅读量902 收藏 2
点赞数 2
分类专栏： 大数据技术入门到21天通关 文章标签： hadoop 大数据 hdfs big data spark
于 2022-12-11 00:26:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forest_long/article/details/128271049
版权
本文详细介绍了Hadoop Shell命令行操作，包括创建文件夹、查看HDFS内容、上传/下载文件、数据移动、权限管理等，并涉及dfsadmin、getconf和fsck等高级操作，是Hadoop大数据操作的基础教程。
摘要由CSDN通过智能技术生成

目录

一、三种shell命令方式

二、常见Shell操作命令

1、创建文件夹

2、查看指定目录下内容

3、上传文件到HDFS指定目录下

4、查看HDFS文件内容

5、下载HDFS文件

6、拷贝HDFS文件

7、追加数据到HDFS文件中

8、HDFS数据移动操作

9、创建文件

10、查看磁盘使用情况

11、修改权限

12、删除文件

13、统计文件数量

三、hdfs与dfsadmin结合操作

1.查看hdfs与dfsadmin的帮助信息

2.查看当前的模式

3.进入安全模式

4.离开安全模式

四、hdfs与getconf结合操作

1.获取NameNode的节点名称(可能多个)

2.获取hdfs最小块信息

3.查找hdfs的NameNode的RPC地址

4.获取默认块存储大小

五、hdfs与fsck结合操作

1.fsck指令显示hdfs块信息

六、其他命令操作

1.检查压缩库本地安装情况

2.格式化名称节点(慎用!!!一般只在初次搭建集群,使用一次)

3.执行自定义jar包

一、三种shell命令方式

HDFS有三种shell命令方式

hadoop fs：适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统

hadoop dfs：只能适用于HDFS文件系统

hdfs dfs：跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统

二、常见Shell操作命令

本操作所有Shell命令均为hadoop3.2.1版本下操作命令，其他版本可能有差异！

Hadoop3.2.1集群参考：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
forest_long
关注
专栏目录
订阅专栏
大数据基础操作说明-HADOOP HIVE IMPALA
11-24
大数据基础操作说明-HADOOP HIVE IMPALA Hadoop 是一个基于分布式存储和计算的开源框架，Hive 是基于 Hadoop 的一个数据仓库工具，Impala 是一个高性能的分布式SQL查询引擎。在这篇文章中，我们将会了解 Hadoop ...
kafka中关于消息的命令
wyqwilliam的博客
12-11 1966
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test6 --from-beginning bin/kaf...
linux shell编程 从当前目录下查找指定文件，输出文件位置
Z_Dream_ST的博客
01-19 4696
#! /bin/bash #从当前目录下找出所有要查询的文件并输出文件位置 echo start time=`date` echo -e function func() { for file in `ls $2` do if [ -L $2"/""$file" ] then continue else if [ -d $2"/""$file" ] then path=$
【课件资料】大数据必备入门技能-linux.7z
07-14
【大数据必备入门技能-Linux】课程是针对想要进入大数据领域学习者的重要教程，它涵盖了Linux操作系统的基础知识，因为Linux在大数据处理中扮演着至关重要的角色。Linux系统以其开源、稳定和高效的特点，成为了...
hbase-hadoop+database系统入门书籍
05-14
根据提供的文件信息，我们可以总结出以下关于HBase与Hadoop结合使用的大数据系统入门的关键知识点： ### HBase简介 HBase是一种分布式、可扩展的列式存储系统，它基于Google的Bigtable论文设计并实现。HBase是...
大数据云计算技术系列 Hadoop之Hbase从入门到精通（共243页）.rar
09-29
《大数据云计算技术系列：Hadoop之HBase从入门到精通》是一份全面深入的教程，旨在帮助读者理解和掌握HBase这一强大的分布式列式数据库。HBase是构建在Hadoop生态系统之上，专门处理大规模数据的非关系型数据库。这...
大数据shell入门到精通视频教程
12-10
### 大数据Shell入门到精通视频教程知识点概览 #### 一、Shell基础概念与环境搭建 - **Shell简介**：Shell是Unix/Linux系统用户与操作系统之间的交互接口，通过命令行方式实现对系统的操作。 - **Shell种类**：介绍...
CentOS安装Hadoop系列
Climbman的博客
09-14 534
1、查找APACHE下载官网，搜索hadoop,进入目录，找到common目录，下载对应版本。本次试验使用2.10.2版本，找到hadoop-2.10.2.tar.gz 复制地址链接。3、选择hadoop的配置模式，单机模式，伪集群模式，集群模式。进入到虚拟机，切换到opt/software目录，没有就创建。2、Wget下载安装包到指定目录。国内，可以使用清华源。
2025年最新大数据毕业设计选题-Hadoop综合项目
最新发布
图南的博客
09-17 321
回忆学过的知识(Python、Java、Hadoop、Hive、Sqoop、Spark、算法等等。。。结合学过的知识确定大的方向a. 确定技术方向，比如基于Hadoop、基于Hive、基于Spark 等等。。。b. 确定业务方向，比如民宿分析、电商行为分析、天气分析等等。。。确定方向后了解数据是否容易获取a. 开源数据集b. 爬虫爬取公开数据理清整体逻辑和实现思路实现流程a. 大数据环境搭建(虚拟机，Hadoop，Hive，MySQL，Spark等等。。。
在WPF中保存控件内容为图片
zhaotianff的专栏
09-17 387
因为这里只支持保存到流，不支持直接保存到文件，所以需要先创建文件，再进行保存。），已经介绍了控件、面板、形状都是继承自Visual类，所以都可以用于Render函数渲染。代表图像编码过的帧。像JPG、BMP这样的静态图像，整个图像只有一帧。类是表示由解码器返回并被编码器接受的图像数据。只要是Visual对象，都可以进行渲染。类的，所以我们这里选择的是第三种重载。这里具体介绍一下这两个类。对象的集合编码为图像流。在WPF介绍这篇文章中（)，可以设置图像内各帧。，所以可以直接用于设置。* 通过Uri来创建。
【Elasticsearch系列六】系统命令API
檀越的博客
09-16 993
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨。
消息中间件有哪些常见类型
weixin_57763462的博客
09-15 581
需要注意的是，这些类型并不是严格互斥的，有些消息中间件可能支持多种消息传递模式或结合了多种类型的特点。在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。在发布/订阅模型中，消息被发布到特定的主题（Topic）上，所有订阅了该主题的消费者都可以接收到这个消息。消息代理是一种更通用的概念，它涵盖了上述的点对点和发布/订阅模型，以及可能的其他消息传递模式。消息代理作为消息的存储和转发中心，负责消息的路由、过滤、持久化等功能。这类消息系统使用日志结构来存储消息，提供了极高的吞吐量和可扩展性。
【大数据】探索怎么从一段话中解析关键信息（寄件人相关信息）
一个不断前行的程序者
09-12 604
通过使用Spacy的NLP功能，我们成功实现了从文本中提取姓名、地址和电话号码的功能。需要注意的是，这个简单的示例可能在处理复杂文本时效果不佳，实际应用中可能需要进一步的优化和训练。此外，对于电话号码的识别，我们简单地使用了数字长度作为判断依据，这并不准确。在实际应用中，我们可以使用正则表达式来更准确地识别电话号码。希望这个博客能够帮助你了解如何使用NLP技术实现文本信息解析功能。如果有任何疑问，欢迎在评论区留言讨论！
Java 学习路线：语言、框架、中间件与数据库
qq_64272546的博客
09-13 1452
Spring Boot 是 Spring 框架的子项目，可简化 Spring 应用的开发与配置。通过提供一系列默认配置和自动化配置功能，Spring Boot 极大地减轻了开发者的工作量。Spring Cloud 是一系列框架的集合，用于开发分布式系统和微服务架构。它涵盖了负载均衡、服务发现、配置管理、分布式追踪等功能。MyBatis-Plus 是 MyBatis 的增强工具，它在 MyBatis 的基础上提供了大量的易用功能，如单表 CRUD 操作、分页、代码生成器等，旨在简化数据库操作。
SuperMap GIS基础产品FAQ集锦(20240911)
SuperMap技术控
09-12 3473
SuperMap GIS基础产品FAQ集锦(20240911)
海量数据查找最大K个值：数据结构与算法的选择
许你安然的博客
09-13 1100
本文详细探讨了如何在海量数据集中查找最大的K个值，从基础的排序方法到高效的优先队列/堆方法，再到分布式计算框架的应用，以及一些优化策略。通过合理的数据结构和算法选择，我们可以大大提高处理大数据集的效率，确保在有限的时间内获得所需的结果。希望这些信息能够帮助开发者在实际项目中更好地应对大数据处理挑战。
测试-Testcontainers
Flying_Fish_roe的博客
09-12 637
Testcontainers 允许你通过自定义 Docker 容器，适用于不在官方支持列表中的服务或应用。// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }
Netty笔记01-Netty的基本概念与用法
weixin_46425661的博客
09-11 939
本文主要讲解Netty的基本概念与用法
RabbitMQ Spring客户端使用
lixiaotao_1的博客
09-17 162
java自带序列化工具类，将java对象序列化为字节数组，用于网络传输。jdk序列号存在缺陷，（不安全，占用空间大等）注解声明式队列和交换机。
大数据技术入门：从Hadoop到Spark
"大数据入门指南 v1.0 (1).pdf" 本指南是针对大数据初学者的一份详尽教程，由作者heibaiying在2020年6月1日发布，并在GitHub上开源。内容涵盖了大数据领域的基础概念、关键技术以及实际操作，包括Hadoop、Hive、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forest_long

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值