分布式文件系统与HDFS的shell操作及查看元数据

已于 2023-07-16 17:06:02 修改
阅读量2.2k 收藏
点赞数
分类专栏： hadoop 文章标签： hdfs hadoop 大数据
于 2023-07-16 17:05:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010438126/article/details/131752271
版权
本文介绍了如何启动Hadoop和Hive的metastore服务，以及使用HDFS的shell命令进行目录结构查看、文件大小统计等操作。同时，通过Hive创建库、表，并展示了查看HDFS文件结构和元数据信息的方法。
摘要由CSDN通过智能技术生成

 

  1. 启动hadoop和hive的metastore

查看sbin的目录下的文件

执行./start-all.sh

了解本专栏 订阅专栏 解锁全文 超级会员免费看
5-分布式文件系统HDFS上的操作(1)1
08-08
【分布式文件系统HDFS上的操作】是Hadoop生态系统的核心组件之一，它提供了高容错性和高可用性，使得大数据处理成为可能。HDFS是基于主从架构的，由NameNode和DataNode组成，NameNode负责元数据管理，DataNode则存储...
hdfs元数据实时采集
qq_34295546的博客
07-18 1274
因Hdfs集群元数据量大，因此即使存储到磁盘上，存储开销依然很大，并且RocksDB为了提高写入和查询性能，会将部分数据放到内存中，因此单条数据越小，对内存和磁盘的开销越小，因此需要找一个在性能和序列化后数据量均较好的序列化方案。主要是借用的zk的节点监控来回调触发各种操作的。consumer端获取到数据后处理，这里获取的是op，op不会带节点的id，里面都是些绝对路径，所以就借用到了之前加载时库中的节点id，通过路径解析出id，然后进行目录的聚合等操作，然后再写会rocksDb，并写出到es。
HDFS详解
weixin_30740581的博客
06-23 303
******HDFS基本概念篇****** 1. HDFS前言 l设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 l重点概念：文件切块，副本存放，元数据 2. HDFS的概念和特...
查看HDFS的元数据文件fsimage和编辑日志edits
hongtaq156136的专栏
02-23 2578
关键字：hdfs元数据、fsimage、edits 在HDFS中，fsimage和eidts是NameNode两个非常重要的文件。 其中，fsimage是HDFS文件系统存于硬盘中的元数据检查点，里面记录了自最后一次检查点之前HDFS文件系统中所有目录和文件的序列化信息；而edits保存了自最后一次检查点之后所有针对HDFS文件系统的操作，比如：增加文件、重命名文件、删除目录等等。   在...
Hadoop Shell命令速查表
Allenzyg的博客
05-20 839
HDFS命令有两种风格 ： hadoop fs开头的 hdfs dfs开头的 两种命令均可使用，效果相同 命令 使用方法 作用 ls hadoop fs -ls 如果是文件，则按照如下格式返回文件信息：文件名 <副本 数>文件大小 修改日期 修改时间 权限 用户ID 组ID ，如果是 目录，则返回它直接子文件的一个列表，就像在Unix中一样 ....
HDFS分布式文件系统—原理与Shell操作
tang5615的博客
07-08 666
   随着数据量的快速增长，传统文件面临存储瓶颈和文件过大，上传和下载耗时过久的问题。对于存储瓶颈需要进行扩容，有两个解决方案，第一是纵向扩容，即增加磁盘和内存；第二说横向扩容，即增加服务器的数量。对于上传下载效率问题，解决方法就是把一个大文件分成多个数据块，以并行的方式把数据块进行存储。分布式文件系统就是基于上述的解决方法而产生的。HDFS是一个易于扩展的分布式文件系统，运行在成百上千台低成本的机器上，具有高度的容错能力；提供应用程序数据的高吞吐量访问，可以对海量文件信息进行存储和管理。 ...
分布式存储系统HDFS之Shell命令行与Java API操作
积跬步，至千里。
04-19 2554
HDFS提供了Shell命令行客户端方式操作HDFS，同时也可以使用Java API的方式来操作HDFS文件系统。
HDFS分布式文件系统基础+HDFS shell操作+HDFS工作流程与机制
m0_56600567的博客
07-21 367
无
分布式文件系统HDFS
zhanglide0526的博客
10-23 790
文章目录1.HDFS的来源2.HDFS的架构图之基础架构2.1 master/slave 架构2.2 名字空间（NameSpace）2.3 文件操作2.4副本机制2.5心跳机制2.6 一次写入，多次读出3.NameNode与Datanode的总结概述3.1namenode 元数据管理3.2 Datanode 数据存储4.文件副本机制以及block块存储5.元文件FSImage与edits6、HDFS的文件写入过程7、HDFS的文件读取过程8.HDFS基本Shell操作9.HDFS的api操作9.1前期准备9
分布式文件系统——HDFS
mapbar_front的博客
08-26 853
HDFS是什么 HDFS最早源于谷歌的分布式文件系统GFS，在2003年的时候，谷歌发表了论文——“The Google File System”，介绍了GFS产生的背景、架构、实现等。 谷歌虽然发布了这样的论文，但是没有把GFS进行开源，而HDFS就是针对谷歌的GFS的开源实现。 为什么要用HDFS 期初的时候，当数据量变大的时候，人们想到的方式，是买一个更贵的更大的服务器，来支撑我们现...
《Hadoop大数据开发实战》教学教案—03HDFS分布式文件系统.pdf
05-03
Hadoop 大数据开发实战教学教案—03HDFS 分布式文件系统.pdf 本节课程主要介绍 HDFS 的概念、HDFS 存储架构和数据读写流程、HDFS 的 Shell 命令、Java 程序操作 HDFS、Hadoop 序列化、Hadoop 小文件处理、通信机制 ...
02_Hadoop 分布式文件系统(HDFS).docx
02-24
NameNode在HDFS中起着关键作用，它维护了整个文件系统的元数据，包括文件名、文件所有权、权限以及文件块的位置信息。这些元数据被存储在一个称为fsimage的磁盘文件中，同时，所有的修改操作则记录在一个edits日志中...
第3章-分布式文件系统HDFS.docx
05-25
大数据技术原理与应用的第三章主要讲述了分布式文件系统HDFS的理论知识点和实践操作。HDFS是Hadoop Distributed File System的缩写，是Hadoop生态系统中的一个核心组件。它是一个分布式文件系统，能够存储大量的数据...
【Pyspark-驯化】一文搞懂Pyspark中表连接的使用技巧
志在创建优质博客、通俗易懂、助力大家提高学习效率！
08-12 1479
在数据处理和分析中，表连接（Join）是一种常用的操作，用于将两个或多个表中满足特定条件的数据行组合在一起。PySpark提供了多种连接函数，允许用户根据不同的键进行内连接、外连接、左连接和右连接。PySpark中的连接函数是处理和分析数据集的重要工具。通过本博客的代码示例，我们学习了如何使用不同的连接类型和条件来合并数据。希望这篇博客能够帮助你更好地理解PySpark中的连接操作，并将其应用于实际的数据处理任务中。
【Hadoop|MapReduce篇】Hadoop序列化概述
2301_80912559的博客
09-07 571
序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。反序列化就是将收到的字节序列（或其他数据传输协议）或者磁盘的持久化数据，转换成内存中的对象。
【Hadoop|MapReduce篇】MapReduce概述
2301_80912559的博客
09-07 615
MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
【运维监控】Prometheus+grafana监控zookeeper运行情况
最新发布
alanchanchn的专栏
09-11 916
通过zookeeper自带的监控信息暴露出来，然后将数据收集到prometheus中，最后通过grafana的dashboard导入模板进行可视化
大数据之Flink（二）
wslzoooo的博客
09-07 1151
JobManager是一个Flink集群任务管理和调度的核心，是控制应用执行的主进程，每个应用都有一JobManager。前面两种模式，代码都在客户端上执行，由客户端提交给JobManager，导致客户端需要占用大量网络带宽，加重客户端所在节点的资源消耗。flink执行过程中，每个算子包含一个或多个子任务，这些子任务在不同的线程、不同的物理机或不同容器中执行。假如一个taskManager有三个slot，就会将管理的内存均分成三份，每个slot独占一份，slot不会去争抢资源。slot的数量是最大并行度。
Hadoop分布式文件系统HDFS详解及Shell操作
分布式文件系统与HDFS： 分布式文件系统允许通过网络在多台计算机之间共享文件和存储空间。HDFS是Apache Hadoop项目的一部分，其设计目标是实现高吞吐量的数据访问，并且具有良好的容错性。HDFS的一个关键特性是它的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小董的数据库进阶之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值