该博客展示了如何在Java程序中使用Hadoop的HDFS API进行文件的读写操作。首先在pom.xml中引入hadoop-common和hadoop-hdfs的依赖。然后通过FileSystem类获取HDFS的实例，实现对远程HDFS服务器上文件的读取和本地文件的写入。需要注意的是，在写入HDFS时，需要使用hdfs dfs -chmod 777命令为文件或目录授权。
java代码对hdfs进行读写操作
两个jar包
操作代码
注意
两个jar包
pom中导入两个jar包，hadoop common和 hadoop HDFS
操作代码
public class MyReadAndWrite {
static FileSystem fs;
static {
try {
fs = FileSystem.get(new URI("hdfs://192.168.56.20:9000"),new Configuration());
} catch (IOException e) {
e.printStackTrace();
} catch (URISyntaxException e) {
e.printStackTrace();
}
}
public void read(){
try {
FSDataInputStream is = fs.open(new Path("/mydemo/jzy/question.txt"));
FileOutputStream os = new FileOutputStream("D:\\study\\pracbox\\question01.txt");
IOUtils.copyBytes(is,os,4096,true);
} catch (IOException e) {
e.printStackTrace();
}
}
public void write(){
try {
FSDataOutputStream os = fs.create(new Path("/mydemo/jzy/aa.txt"));
FileInputStream is = new FileInputStream("D:\\study\\pracbox\\bb.txt");
IOUtils.copyBytes(is,os,4096,true);
} catch (IOException e) {
e.printStackTrace();
}
}
public static void main(String[] args) {
// new MyReadAndWrite().read();
new MyReadAndWrite().write();
}
}
注意
注意进行输出操作即写入hadoop文本时，需要对其进行赋权操作
hdfs dfs -chmod -R 777 /mydeom(文件目录)
扫一扫
5045
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
