sbin/start-all.sh
--------------
libexec/hadoop-config.sh
start-dfs.sh
start-yarn.sh
sbin/start-dfs.sh
--------------
libexec/hadoop-config.sh
sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ... //
sbin/start-yarn.sh
--------------
libexec/yarn-config.sh
bin/yarn-daemon.sh start resourcemanager
bin/yarn-daemons.sh start nodemanager
sbin/hadoop-daemons.sh
----------------------
libexec/hadoop-config.sh
slaves
hadoop-daemon.sh
sbin/hadoop-daemon.sh
-----------------------
libexec/hadoop-config.sh
bin/hdfs ....
sbin/yarn-daemon.sh
-----------------------
libexec/yarn-config.sh
bin/yarn
bin/hadoop
------------------------
hadoop verion //版本
hadoop fs //文件系统客户端.
hadoop jar //
hadoop classpath
hadoop checknative
bin/hdfs
------------------------
dfs // === hadoop fs
classpath
namenode -format
secondarynamenode
namenode
journalnode
zkfc
datanode
dfsadmin
haadmin
fsck
balancer
jmxget
mover
oiv
oiv_legacy
oev
fetchdt
getconf
groups
snapshotDiff
lsSnapshottableDir
portmap
nfs3
cacheadmin
crypto
storagepolicies
version
hdfs常用命令
--------------------
$>hdfs dfs -mkdir /user/centos/hadoop ##创建文件
$>hdfs dfs -ls -r /user/centos/hadoop ##浏览文件
$>hdfs dfs -lsr /user/centos/hadoop ##浏览目录
$>hdfs dfs -put index.html /user/centos/hadoop ##写入文件
$>hdfs dfs -get /user/centos/hadoop/index.html a.html ##获取文件
$>hdfs dfs -rm -r -f /user/centos/hadoop ##删除文件
$>hadoop fs -chmod -R 777 /tmp ##修改tem文件及子文件权限
no route ##文件操作异常
--------------------
关闭防火墙。
$>su root
$>xcall.sh "service firewalld stop"
$>xcall.sh "systemctl disable firewalld"
HA
-----------------------
high availability,高可用性。通常用几个9衡量。
99.999%
SPOF:
-----------------------
single point of failure,单点故障。
配置hadoop的最小blocksize,必须是512的倍数。
-------------------------------------------
[hdfs-site.xml]
dfs.namenode.fs-limits.min-block-size=1024
write,进行校验,512进行一次校验
单独配置辅助名称节点
---------------------
[hdfs-site.xml]
dfs.namenode.secondary.http-address=s206:50090
使用oiv命令查询hadoop镜像文件
------------------------------
hdfs oiv -i fsimage -o a.xml -p XML //查看镜像文件。
hdfs dfsadmin管理命令
----------------------
$>hdfs dfsadmin //查看帮助
$>hdfs dfsadmin -help rollEdits //查看指定命令的帮助
$>hdfs dfsadmin -rollEdits //滚动编辑日志
启动hdfs时,镜像文件编辑日志进行融合,编辑日志滚动。
查看hdfs是否在安全模式
------------------------
$>hdfs dfsadmin -safemode enter //进入
$>hdfs dfsadmin -safemode get //查看
$>hdfs dfsadmin -safemode leave //退出
$>hdfs dfsadmin -safemode wait //等待
hadoop
--------------------
$>hadoop fs //hdfs dfs
$>hadoop checknative //检查压缩库本地安装情况
$>hadoop namenode -format //格式化名称
hdfs管理命令
--------------------
hdfs dfsadmin //
保存名字空间,需要进入安全模式
--------------------------------
$>hdfs dfsamdin -saveNamespace
hadoop启动命令
------------------
$>start-all.sh //start-dfs.sh + start-yarn.sh
$>start-dfs.sh //hadoop-daemon.sh start namenode
//hadoop-daemons.sh start datanode
$>start-yarn.sh //yarn-daemon.sh start resourcemanager
//yarn-daemons.sh start nodemanager
配额管理(quota)
-------------------
[目录配额]
计算目录下的所有文件的总个数。如果1,表示空目录。
$>hdfs dfsadmin -setQuota 1 dir1 dir2 //设置目录配额
$>hdfs dfsadmin -clrQuota 1 dir1 dir2 //清除配额管理
[空间配额]
计算目录下的所有文件的总大小.包括副本数.
空间配置至少消耗384M的空间大小(目录本身会占用384M的空间)。
$>hdfs dfsadmin -setSpaceQuota 3 data
$>echo -n a > k.txt
$>hdfs dfs -put k.txt data2
$>hdfs dfsadmin -clrSpaceQuota dir1 //清除配额管理
快照管理
--------------------
1.描述
迅速对文件(夹)进行备份。不产生新文件,使用差值存储。
默认是禁用快照,先启用。
2.命令
$>hdfs dfsadmin -allowSnapShot dir1 //在dir1启用快照
$>hdfs dfsadmin -disallowSnapShot dir1 //在dir1启用快照
$>hdfs dfs -createSnapshot dir ss1 //创建快照
$>hdfs dfs -renameSnapshot dir ss1 ss2 //重命名
$>hdfs dfs -deleteSnapshot dir ss1 //删除快照