hadoop 存档


1)理论概述

    每个文件均按块存储,每个块的元数据存储在 namenode 的内存中,因此 hadoop 存储小文件会非常低效。因为大量的小文件会耗尽 namenode 中的大部分内存。但注意,存储小文件所需要的磁盘容量和存储这些文件原始内容所需要的磁盘空间相比也不会增多。例如,一个 1MB 的文件以大小为 128MB 的块存储,使用的是 1MB 的磁盘空间,而不是 128MB。

    Hadoop 存档文件或 HAR 文件,是一个更高效的文件存档工具,它将文件存入 HDFS块,在减少 namenode 内存使用的同时,允许对文件进行透明的访问。具体说来,Hadoop存档文件可以用作 MapReduce 的输入。

2)案例实操

    (1)需要启动 yarn 进程
start-yarn.sh

    (2)归档文件:归档成一个叫做 xxx.har 的文件夹,该文件夹下有相应的数据文件。Xx.har 目录是一个整体,该目录看成是一个归档文件即可。
bin/hadoop archive -archiveName myhar.har -p /user/hadoop /user/my

    (3)查看归档
hadoop fs -ls -R /user/my/myhar.har
hadoop fs -ls -R har:/user/my/myhar.har

    (4)解归档文件
hadoop fs -cp har:/user/my/myhar.har/* /user/hadoop

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop har是指Hadoop存档文件的一种格式。Hadoop存档文件是特殊格式的存档,它映射到文件系统目录,并且始终具有*.har扩展名。 Hadoop存档目录包含元数据和数据文件。_index文件包含归档文件中的文件名以及这些文件在归档文件中的位置。 Hadoop har可以通过hadoop archive命令进行创建。可以使用以下命令创建Hadoop归档文件:hadoop archive -archiveName data_bak.har -p /user/ubuntu/data_bak /user/ubuntu/。这将创建一个名为data_bak.har的Hadoop归档文件,并将/user/ubuntu/data_bak目录下的文件归档到/user/ubuntu/目录中。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Hadoop的归档---har](https://blog.csdn.net/jim8973/article/details/106224120)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Hadoop基础(四) --- HA介绍,HA架构,部署HA,Set Rack Aware 设定机架感知,distcp, archive,数据校验...](https://blog.csdn.net/xcvbxv01/article/details/81669740)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值