12.DataNode多目录配置,开启HDFS权限,小文件合并,HDFS快照

Datanode多目录配置大数据节点数据硬盘的配置方法:
多个硬盘。每个硬盘独立挂载
硬盘1 /mnt/disk1
硬盘2 /mnt/disk2
硬盘3 /mnt/disk3
硬盘4 /mnt/disk4

dfs.datanode.data.dir

/mnt/disk1/datanodeDatas,
/mnt/disk2/datanodeDatas,
/mnt/disk3/datanodeDatas,
/mnt/disk4/datanodeDatas


DataNode节点配置多个存储数据的目录,每个数据存储目录是一个独立的硬盘。读写数据时多个硬盘同时工作。效率较高。开启HDFS权限控制
在hdfs-site.xml添加如下配置 开启权限认证 (每个节点都要配置)

dfs.permissions
true

有权限,必然有管理员
linux 超级管理员是 root
HDFS 超级管理员是 hdfs(部分大数据平台)小文件合并
HDFS -> Local 使用HDFS提供的-getmerge 方法
Local -> HDFS 遍历每个小文件追加到一个文件,在进行上传(这个文件不在HDFS)。HDFS 快照(snapShot)
1、开启某个目录的快照功能
[root@node01 sbin]# hdfs dfsadmin -allowSnapshot /abc Allowing snaphot on /abc succeeded
2、创建快照
[root@node01 sbin]# hdfs dfs -createSnapshot /abc Created snapshot /abc/.snapshot/s20191107-231621.269
[root@node01 sbin]# hdfs dfs -createSnapshot /abc abc1.0 Created snapshot /abc/.snapshot/abc1.0
3、恢复 cp 或者mv
4、关闭目录的快照
hdfs dfsadmin -disallowSnapshot /abc

  • 7
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值