hadoop的linux命令,hadoop 相关命令(linux)

用户名:50070

1,创建相关文件夹

hdfs dfs -mkdir -p   /user/root

2,传输文件

hdfs  dfs   -put     ./hadoop-2.6.5.tar.gz      /user/root

3，定义block大小

hdfs     dfs    -D    dfs.blocksize=1048576    -put   test.txt

4，HA部署流程

2,3,4启动zookeeper   zkServer.sh start

1,2,3  启动  JNN    hadoop-daemon.sh start journalnode

1,  namenode  格式化    hdfs namenode -format

1  namenode ，启动  hadoop-daemon.sh start namenode

2  hdfs namenode -bootstrapStandby     namenode 跟进

1，格式化zkfc   hdfs zkfc -formatZK

4,启动zookeeper   zkCli.sh

1，start-dfs.sh   启动

5，Ha平常启动

2,3,4启动zookeeper   zkServer.sh start

用完stop-dfs.sh

启动  start-dfs.sh

6，yarn  启动

1，start-yarn.sh

3,4    yarn-daemon.sh start resourcemanager

resourcemanager   端口号8088

7，执行jar包

hadoop jar    hadoop_mapreduce_example.jar   wordcount     /user/root/text.txt      /data/wc/output

hadoop_mapreduce_example.jar  是jar包名字   wordcount 为里面的类    /user/root/text.txt 为被执行文件    /data/wc/output   为输出文件  必须为空或不存在路径

也可

hadoop jar    mywc.jar  hadoop_MR.mywc

若类中写了输入输出路径，则可不写，     hadoop_MR为package名，mywc为class名

8，查看输出结果

hdfs    dfs    -ls  /data/wc/output

输出会有SUCCESS，表明输出是否成功     part -r-0000    r 表名是reduce文件    0000表名是第0个reduce

9，拷贝hdfs 到当前

hdfs dfs -get  /data/wc/*      ./

10

hdfs dfs -mkdir /class

hdfs dfs -put ./awk.txt/class  上传文件

hdfs dfs -copyFromLocal-f ./awk.txt /class   覆盖原文件

hdfs dfs-appendToFile ./text.txt /class/awk.txt  将数据追加到原文件末尾

11

显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息:

hdfs dfs -ls -h /class/awk.txt

12

在HDFS中，将文件从源路径移动到目的路径。

hdfs dfs -mv/class/awk.txt /data