Datanode多目录配置大数据节点数据硬盘的配置方法:
多个硬盘。每个硬盘独立挂载
硬盘1 /mnt/disk1
硬盘2 /mnt/disk2
硬盘3 /mnt/disk3
硬盘4 /mnt/disk4
dfs.datanode.data.dir
/mnt/disk1/datanodeDatas,
/mnt/disk2/datanodeDatas,
/mnt/disk3/datanodeDatas,
/mnt/disk4/datanodeDatas
DataNode节点配置多个存储数据的目录,每个数据存储目录是一个独立的硬盘。读写数据时多个硬盘同时工作。效率较高。开启HDFS权限控制
在hdfs-site.xml添加如下配置 开启权限认证 (每个节点都要配置)
dfs.permissions
true
有权限,必然有管理员
linux 超级管理员是 root
HDFS 超级管理员是 hdfs(部分大数据平台)小文件合并
HDFS -> Local 使用HDFS提供的-getmerge 方法
Local -> HDFS 遍历每个小文件追加到一个文件,在进行上传(这个文件不在HDFS)。HDFS 快照(snapShot)
1、开启某个目录的快照功能
[root@node01 sbin]# hdfs dfsadmin -allowSnapshot /abc Allowing snaphot on /abc succeeded
2、创建快照
[root@node01 sbin]# hdfs dfs -createSnapshot /abc Created snapshot /abc/.snapshot/s20191107-231621.269
[root@node01 sbin]# hdfs dfs -createSnapshot /abc abc1.0 Created snapshot /abc/.snapshot/abc1.0
3、恢复 cp 或者mv
4、关闭目录的快照
hdfs dfsadmin -disallowSnapshot /abc
12.DataNode多目录配置,开启HDFS权限,小文件合并,HDFS快照
最新推荐文章于 2022-10-27 17:00:24 发布