虚拟机集群启动，Hadoop常用命令

虚拟机集群启动，Hadoop常用命令

（一）、启动hdfs
1，namenode节点第一次初始化
在namenode安装节点执行命令：
hadoop namenode -format

2，单节点启动、停止
在namenode节点执行命令：一般位hadoop101节点
hadoop-daemon.sh start namenode
hadoop-daemon.sh stop namenode

 在secondarynamenode节点执行命令：一般位hadoop103节点
 hadoop-daemon.sh start secondarynamenode
 hadoop-daemon.sh stop secondarynamenode
 
 在datanode节点执行命令：所有节点hadop101、hadoop102、hadoop103
 hadoop-daemon.sh start datanode
 hadoop-daemon.sh stop datanode

3，集群启动、停止
在namenode节点执行命令
start-dfs.sh
stop-dfs.sh

4，网页查阅hdfs系统运行情况
网址：http://hadoop101:50070/dfshealth.html#tab-overview

5，查看节点存活率
hadoop dfsadmin -report

（二）启动yarn
1，单节点启动、停止
在resourcemanager节点执行命令：一般位hadoop103节点
yarn-daemon.sh start resourcemanager
yarn-daemon.sh stop resourcemanager

 在nodemanager节点执行命令：所有节点hadop101、hadoop102、hadoop103
 yarn-daemon.sh start nodemanager
 yarn-daemon.sh stop nodemanager

2，集群启动、停止
在resourcemanager节点执行命令
start-yarn.sh
stop-yarn.sh

3，网页查阅yarn调度系统资源情况
网址：http://hadoop103:8088/cluster/apps

（三）启动历史服务器
1，在配置历史服务器的节点上：hadoop101
mr-jobhistory-daemon.sh start historyserver
mr-jobhistory-daemon.sh stop historyserver

2，网页查阅历史服务器job调度日志
网址：http://hadoop101:19888/jobhistory/app

（四）防火墙
1，查看防火墙状态
systemctl status firewalld.service

2，关闭防火墙
systemctl stop firewalld.service

3，让防火墙永久失效
systemctl disable firewalld.service

（五）HDFS文件限额配置
1，限制文件夹可以上传多少个文件
创建文件夹
hdfs dfs -mkdir -p /root/ouyangtao
设置文件夹文件数量，实际位n-1个文件，如设置为2，则只能上传一个文件
hdfs dfsadmin -setQuota 2 /root/ouyangtao
上传测试
hdfs dfs -put hdfs.txt /root/ouyangtao
解除限制
hdfs dfsadmin -clrQuota /root/ouyangtao
查看文件限制数量
hdfs dfs -count -q -h /root/ouyangta

2，限制可以上传多大空间的文件
设置文件夹可以上传多大容量的文件
hdfs dfsadmin -setSpaceQuota 4k /root/ouyangtao
解除
hdfs dfsadmin -clrSpaceQuota /root/ouyangtao

（六）安全模式
安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。
HDFS集群刚启动的时候，默认30S钟的时间是出于安全期的，只有过了30S之后，集群脱离了安全期，然后才可以对集群进行操作
查看安全模式状态
hdfs dfsadmin -safemode
进入安全模式
hdfs dfsadmin -safemode enter
退出安全模式
hdfs dfsadmin -safemode leave

（七）Hadoop归档技术，减少小文件对namenode的消耗
Hadoop存档文件HAR文件，是一个更高效的文件存档工具，HAR文件是由一组文件通过archive工具创建而来，在减少了NameNode的内存使用的同时，可以对文件进行透明的访问，即HAR文件对NameNode来说是一个文件，减少了内存的浪费，对于实际操作处理文件依然是一
个一个独立的文件。
1，先启动yarn集群
start-yarn.sh
2，归档处理
例子：把/root/ouyangtao目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/root/out路径下。
hadoop archive -archiveName input.har -p /root/ouyangtao /root/output --在这里必须用hadoop 而不能用hdfs
3，查看归档
hdfs dfs -ls /root/output/input.har --归档文件
hdfs dfs -ls -R har:///root/output/input.har --解析出被归档的文件名
4，解归档文件，将被归档文件复制到 /root 文件夹下
hdfs dfs -cp har:///root/output/input.har/* /root

（八）HDFS常用命令
1，查看所有的hdfs命令
hadoop dfs 或者 hdfs dfs ，一般用hadoop fs，而不是hadoop dfs
使用具体命令语法
hadoop dfs 具体命令 或者 hdfs dfs 具体命令

2，查看某条命令的参数
hadoop fs -help rm 或者 hdfs dfs -help rm

3，显示根目录信息
hdfs dfs -ls /

4，-mkdir：在hdfs上创建目录，多级目录前面加 -p参数
hdfs dfs -mkdir -p /ouyangtao/bigdata

5，-moveFromLocal：从本地剪切粘贴到HDFS
先在本地创建文件hadoop.txt文件，然后剪切粘贴到hdfs上
touch hadoop.txt
hdfs dfs -moveFromLocal ./hadoop.txt /ouyangtao/bigdata

6， -appendToFile：追加一个文件到已经存在的文件末尾
先在本地创建文件hdfs.txt文件，然后剪切粘贴到hdfs上的hadoop.txt中
touch hdfs.txt
写入内容
vim hdfs.txt
追加到hdfs上的hadoop.txt中
hdfs dfs -appendToFile ./hdfs.txt /ouyangtao/bigdata/hadoop.txt

7，-cat：显示文件内容，显示上一个命令中追加的内容
hdfs dfs -cat /ouyangtao/bigdata/hadoop.txt

8， -chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限
hdfs dfs -chmod 777 /ouyangtao/bigdata/hadoop.txt
hdfs dfs -chown root:root /ouyangtao/bigdata/hadoop.txt

9， -copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去
hdfs dfs -copyFromLocal hdfs.txt /ouyangtao/bigdata

10， -copyToLocal：从HDFS拷贝到本地
hdfs dfs -copyToLocal /ouyangtao/bigdata/hadoop.txt ./

11， -cp ：从HDFS的一个路径拷贝到HDFS的另一个路径
hdfs dfs -cp /ouyangtao/bigdata/hadoop.txt /ouyangtao/hdfs.txt

12， -mv：在HDFS目录中移动文件，遇到根目录
hdfs dfs -mv /ouyangtao/hdfs.txt /

13， -get：等同于copyToLocal，就是从HDFS下载文件到本地
hdfs dfs -get /ouyangtao/bigdata/hadoop.txt ./

14，-put：等同于copyFromLocal
hdfs dfs -put hadoop.txt /ouyangtao

15， -tail：显示一个文件的末尾
hdfs dfs -tail /ouyangtao/hadoop.txt

16， -rm：删除文件或文件夹
hdfs dfs -rm /ouyangtao/hadoop.txt

17， -rmdir：删除空目录
hdfs dfs -mkdir /test
hdfs dfs -rmdir /test

18，-du统计文件夹的大小信息
hdfs dfs -du -s -h /ouyangtao

19 ，-setrep：设置HDFS中文件的副本数量
hdfs dfs -setrep 10 /ouyangtao/bigdata/hadoop.txt