hdfs基本操作----命令行

hdfs操作

        (1)创建目录

                单层文件夹:hdfs dfs -mkdir 文件夹名

                多层文件夹:hdfs dfs -mkdir -p /文件夹1/文件夹2

        (2)上传文件

                hdfs dfs -put 源文件路径 目标路径

                hdfs dfs -moveFromLocal 源文件路径 目标路径        (本地文件被删除)

                hdfs dfs -copyFromLocal 源文件路径 目标路径        (本地文件不删除)

        (3)下载文件

                hdfs dfs -get 源文件路径 目标路径

                hdfs dfs -copyToLocal 源文件路径 目标路径

        (4)查看文件内容

                hdfs dfs -cat 源文件路径

                hdfs dfs -tail 源文件路径        (查看文件最后1024KB内容)

        (5)删除文件(文件夹)

                hdfs dfs -rm -r 源文件路径

                hdfs dfs -rmdir 源文件夹路径

        (6)列出指定文件和目录

                hdfs dfs -ls [-d][-h][-R] 源文件目录

        hdfs dfs -admin -report        查看hdfs资源信息

        hdfs UI监控界面:master:9870

        yarn UI监控界面:slave1:8088

mapreduce路径:

/opt/module/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-apreduce-examples-3.1.4.jar

包含7个模块

(1)wordcount对属入单词进行词频统计

(2)pi应用拟蒙的卡罗方法计算圆周率的值

(3)wordmean计算输入单词的平均长度

(4)wordmedia计算输入文件的单词长度的中位数

提交mapreduce任务给集群运行

hadoop jar jar包所在绝对路径 输入文件的路径 输出结果的路径