六、优化及新特性
1.集群安全模式:接收请求,不接受删除、修改
2.进入安全模式
-
元数据和块必须同时存在,否则集群会进入安全模式
3.退出安全模式
-
存活节点数
-
block数
-
稳定时间
4.语法:bin/hdfs dfsadmin -safemode get、enter、leave、wait
5.namenode元数据丢失,可从SecondaryNamenode中copy
6.namenode元数据存放目录可配置多个:hdfs-site.xml中配置
-
磁盘间数据均衡
-
hdfs diskbalancer -plan、execute、query、cancel
7.安全模式:
-
加载eth,fsimage
-
等待汇报块信息
-
等待30s
8.服役新服务器
-
虚拟机克隆
-
修改ip及主机名
-
删除hadoop中data、log
-
白名单添加新节点
-
刷新namenode:hdfs dfsadmin -refreshNodes
9.服务器间数据均衡
-
start-balancer.sh threshold 10
-
stop-balancer.sh
10.名单
-
白名单:集群上正常工作的节点
-
黑名单:退役的节点
-
并配置hdfs-site.xml
-
节点退役时,会复制其中数据到其他节点
11.企业优化
-
mapreduce:合并小文件(combineTextinputformat)、开启uber(打包成har,jvm重用)
-
map:减少 spill次数(缓冲区),减少合并,先combine
-
reduce:map、reduce共存,规避使用reduce
-
io:采用压缩
-
数据倾斜:抽样检查、自定义分区、combiner
-
调整参数:mapred-default.xml、yarn-fefault.xml
12.集群之间数据复制:distcp hdfs://hadoop102:8020/文件 地址