实验二:熟悉常用的HDFS操作

实验环境:
(1)操作系统:Linux(建议 Ubuntu 16.04 或 Ubuntu 18.04)。
(2)Hadoop 版本:3.1.3。
(3)JDK 版本:1.8。
(4)Java IDE: Eclipse。
实验内容与完成情况:
(1)编程实现以下功能,并利用Hadoop提供的Shell命令完成相同任务。
①向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,则由用户来指定是追加到原有文件末尾还是覆盖原有的文件。
在这里插入图片描述

执行完上述命令不会输出结果,需要继续输入命令查看结果:
在这里插入图片描述

如果结果显示文件已经存在,则用户可以选择追加到原来文件末尾或者覆盖原来文件,具体命令如下:
在这里插入图片描述
在这里插入图片描述

②从HDFS中下载指定文件,如果本地文件与要下载的文件名相同,则自动对下载的 文件重命名。
在这里插入图片描述

③将HDFS中指定文件的内容输出到终端中。
在这里插入图片描述

④显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息。
在这里插入图片描述

⑤给定HDFS中某个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路 径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息。
在这里插入图片描述

⑥提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目 录不存在,则自动创建目录。
在这里插入图片描述

⑦提供一个HDFS目录的路径,对该目录进行创建和删除操作。创建目录时,如果目录文件所在目录不存在,则自动创建相应目录;删除目录时,由用户指定当该目录不为空时 是否还删除该目录。

在这里插入图片描述

⑧向HDFS中指定的文件追加内容,由用户指定内容追加到原有文件的开头或结尾。
在这里插入图片描述

⑨删除HDFS中指定的文件。
Shell命令:
$ hdfs dfs -rm weiguo2.txt

⑩在HDFS中,将文件从源路径移动到目的路径。
Shell命令:
$ hdfs dfs -mv weiguo.txt wuguo.txt

(2)编程实现一个类 MyFSDatalnputStream,该类继承 org. apache, hadoop. fs. FSDatalnputStream,要求如下:实现按行读取HDFS中指定文件的方法readLine(),如果 读到文件末尾,则返回空;否则,返回文件一行的文本。
Java代码:

package com.xusheng.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache
  • 0
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值