hadoop 脚本分析，hdfs常用命令

sbin/start-all.sh
	--------------
		libexec/hadoop-config.sh
		start-dfs.sh
		start-yarn.sh

	sbin/start-dfs.sh
	--------------
		libexec/hadoop-config.sh
		sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...
		sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...
		sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...
		sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ...			//
	

	sbin/start-yarn.sh
	--------------	
		libexec/yarn-config.sh
		bin/yarn-daemon.sh start resourcemanager
		bin/yarn-daemons.sh start nodemanager
	

	sbin/hadoop-daemons.sh
	----------------------
		libexec/hadoop-config.sh

		slaves

		hadoop-daemon.sh

	sbin/hadoop-daemon.sh
	-----------------------
		libexec/hadoop-config.sh
		bin/hdfs ....
	

	sbin/yarn-daemon.sh
	-----------------------
		libexec/yarn-config.sh
		bin/yarn


	bin/hadoop
	------------------------
		hadoop verion		//版本
		hadoop fs			//文件系统客户端.
		hadoop jar			//
		hadoop classpath
		hadoop checknative

	
	bin/hdfs
	------------------------
		dfs						// === hadoop fs
		classpath          
		namenode -format   
		secondarynamenode  
		namenode           
		journalnode        
		zkfc               
		datanode           
		dfsadmin           
		haadmin            
		fsck               
		balancer           
		jmxget             
		mover              
						   
		oiv                
		oiv_legacy         
		oev                
		fetchdt            
		getconf            
		groups             
		snapshotDiff       
						   
		lsSnapshottableDir 
						   
		portmap            
		nfs3               
		cacheadmin         
		crypto             
		storagepolicies    
		version 

hdfs常用命令
--------------------
	$>hdfs dfs -mkdir /user/centos/hadoop                  ##创建文件
	$>hdfs dfs -ls -r /user/centos/hadoop                  ##浏览文件
	$>hdfs dfs -lsr /user/centos/hadoop                    ##浏览目录
	$>hdfs dfs -put index.html /user/centos/hadoop         ##写入文件
	$>hdfs dfs -get /user/centos/hadoop/index.html a.html  ##获取文件
	$>hdfs dfs -rm -r -f /user/centos/hadoop               ##删除文件
    $>hadoop fs -chmod -R  777  /tmp                       ##修改tem文件及子文件权限

no route   ##文件操作异常
--------------------
	关闭防火墙。
	$>su root
	$>xcall.sh "service firewalld stop"
	$>xcall.sh "systemctl disable firewalld"

HA
-----------------------
	high availability,高可用性。通常用几个9衡量。
	99.999%
SPOF:
-----------------------
	single point of failure,单点故障。

配置hadoop的最小blocksize，必须是512的倍数。
-------------------------------------------
	[hdfs-site.xml]
	dfs.namenode.fs-limits.min-block-size=1024
	write,进行校验，512进行一次校验


单独配置辅助名称节点
---------------------
	[hdfs-site.xml]
	dfs.namenode.secondary.http-address=s206:50090

使用oiv命令查询hadoop镜像文件
------------------------------
	hdfs oiv -i fsimage -o a.xml -p XML			//查看镜像文件。


hdfs dfsadmin管理命令
----------------------
	$>hdfs dfsadmin					//查看帮助
	$>hdfs dfsadmin	-help rollEdits	//查看指定命令的帮助
	$>hdfs dfsadmin -rollEdits		//滚动编辑日志
	

启动hdfs时，镜像文件编辑日志进行融合，编辑日志滚动。

查看hdfs是否在安全模式
------------------------
	$>hdfs dfsadmin -safemode  enter		//进入
	$>hdfs dfsadmin -safemode  get			//查看
	$>hdfs dfsadmin -safemode  leave		//退出
	$>hdfs dfsadmin -safemode  wait			//等待


hadoop 
--------------------
	$>hadoop fs					//hdfs dfs
	$>hadoop checknative		//检查压缩库本地安装情况
	$>hadoop namenode -format	//格式化名称


hdfs管理命令
--------------------
	hdfs dfsadmin				//

保存名字空间,需要进入安全模式
--------------------------------
	$>hdfs dfsamdin -saveNamespace

hadoop启动命令
------------------
	$>start-all.sh		//start-dfs.sh + start-yarn.sh
	$>start-dfs.sh		//hadoop-daemon.sh start namenode
						//hadoop-daemons.sh start datanode
	$>start-yarn.sh		//yarn-daemon.sh start resourcemanager
						//yarn-daemons.sh start nodemanager

配额管理(quota)
-------------------
	[目录配额]
	计算目录下的所有文件的总个数。如果1，表示空目录。
	$>hdfs dfsadmin -setQuota 1 dir1 dir2		//设置目录配额
	$>hdfs dfsadmin -clrQuota 1 dir1 dir2		//清除配额管理

	[空间配额]
	计算目录下的所有文件的总大小.包括副本数.
	空间配置至少消耗384M的空间大小(目录本身会占用384M的空间)。
	$>hdfs dfsadmin -setSpaceQuota 3 data
	$>echo -n a > k.txt
	$>hdfs dfs -put k.txt data2
	$>hdfs dfsadmin -clrSpaceQuota dir1			//清除配额管理


快照管理
--------------------
	1.描述
	  迅速对文件(夹)进行备份。不产生新文件，使用差值存储。
	  默认是禁用快照,先启用。
	2.命令
	  $>hdfs dfsadmin -allowSnapShot dir1		//在dir1启用快照
	  $>hdfs dfsadmin -disallowSnapShot dir1	//在dir1启用快照
	  $>hdfs dfs -createSnapshot dir ss1		//创建快照
	  $>hdfs dfs -renameSnapshot dir ss1 ss2	//重命名
	  $>hdfs dfs -deleteSnapshot dir ss1		//删除快照