hadoop常用命令

1.启动伪分布式系统

./sbin/start-dfs.sh

关闭

./sbin/stop-dfs.sh

2.创建文件夹

./bin/hdfs dfs -mkdir /hadoop-mkdir /hadoop

3.传入文件

./bin/hdfs dfs -put ./etc/hadoop/*.txt /hadoop

4 查看文件夹

./bin/hdfs dfs -ls /hadoop
-ls /hadoop

5.查看文件

./bin/hdfs dfs -cat /hadoop/a.txt
-cat /hadoop/a.txt

6 取出文件到本地

./bin/hdfs dfs -get /hadoop/a.txt /home/wind

7.删除文件夹 hdfs dfs -rmr /input

删除文件 hdfs dfs -rm /input/a.txt

8.运行自己编写的的jar包，打包时未指定入口类的需要在命令行中指明包名和入口类名

hadoop jar /home/wind/桌面/wordcount.jar  hdfs://localhost:9000/hadoop/input/a.txt hdfs://localhost:9000/hadoop/output

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar org.apache.hadoop.examples.WordCount_类名  input output

9、查看当前hdfs配置参数

hdfs  getconf  -confKey  mapreduce.jobhistory.address

10、合并文件(前面为hdfs文件夹名，后面为本地结果文件名)

hdfs dfs -getmerge  /hadoop/original_ad   /share/ori

11、查找配置文件和默认配置文件

find  /  -name  "yarn*xml"

12、修改已有文件的副本数   https://blog.csdn.net/magina_lil/article/details/79585548

hadoop dfs -setrep -w 2 -R /user

执行 hdfs balancer 均衡集群数据

13、查看文件块数目及信息

hdfs  fsck  /backup/database/acct_info201806.csv -files -blocks -locations