java hdfs常用操作 文件输入输出删除复制下载

最新推荐文章于 2021-10-19 13:24:29 发布
最新推荐文章于 2021-10-19 13:24:29 发布
阅读量221 收藏
点赞数
文章标签： java 大数据

编写 Java程序，编写满足如下要求八个方法：

1.  迭代显示 HDFS中的所有目录和文件

package  hdfs;

 

 

 

import  java.io.IOException;

 

import  org.apache.hadoop.conf.Configuration;

import  org.apache.hadoop.fs.FileStatus;

import  org.apache.hadoop.fs.FileSystem;

import  org.apache.hadoop.fs.LocatedFileStatus;

import  org.apache.hadoop.fs.Path;

import  org.apache.hadoop.fs.RemoteIterator;

 

 

 

public   class  hdfs {

public   static   void  main(String[] args ) {

// 配置账号密码

System. setProperty ( "HADOOP_USER_NAME" , "Teacher" );

System. setProperty ( "HADOOP_USER_PASSWORD" , "123456" );

// 进行连接配置

Configuration conf = new  Configuration();

conf .set( "fs.defaultFS" , "hdfs://192.168.2.100:9000" );



// 获取 hdfs 连接对象



FileSystem fs = null ;

try  {

fs =FileSystem. get ( conf );

FileStatus[] list = fs .listStatus( new  Path( "/hello" ));



/*for(FileStatus f:list){

System.out.println(f.getPath()+"   "+f.getPath().getName());


}*/

RemoteIterator<LocatedFileStatus> fileItera = fs .listFiles( new  Path( "/" ), true );


while ( fileItera .hasNext()){

LocatedFileStatus f = fileItera .next();

System. out .println( f .getPath().getName()+ "   " + f .getLen());


}



} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

} finally {

try  {

fs .close();

} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

}

}




}

}

 

2.  判断 HDFS上 / input 目录是否存在，如果不存在则创建

package  hdfs;

 

 

 

import  java.io.IOException;

 

import  org.apache.hadoop.conf.Configuration;

import  org.apache.hadoop.fs.FSDataOutputStream;

import  org.apache.hadoop.fs.FileStatus;

import  org.apache.hadoop.fs.FileSystem;

import   org.apache.hadoop.fs.LocatedFileStatus ;

import  org.apache.hadoop.fs.Path;

import   org.apache.hadoop.fs.RemoteIterator ;

 

 

 

public   class  hdfs {

public   static   void  main(String[] args ) {

// 配置账号密码

System. setProperty ( "HADOOP_USER_NAME" , "Teacher" );

System. setProperty ( "HADOOP_USER_PASSWORD" , "123456" );

// 进行连接配置

Configuration conf = new  Configuration();

conf .set( "fs.defaultFS" , "hdfs://192.168.2.100:9000" );



// 获取 hdfs 连接对象



FileSystem fs = null ;

FSDataOutputStream out = null ;

try  {

fs =FileSystem. get ( conf );

FileStatus[] list = fs .listStatus( new  Path( "/hello" ));



/*for(FileStatus f:list){

System.out.println(f.getPath()+"   "+f.getPath().getName());


}*/



/*RemoteIterator<LocatedFileStatus> fileItera=fs.listFiles(new Path("/"), true);


while(fileItera.hasNext()){

LocatedFileStatus f=fileItera.next();

System.out.println(f.getPath().getName()+"   "+f.getLen());


}*/

         out = fs .create( new  Path( "/input" ), true );

out .write( "hello World" .getBytes());


} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

} finally {

try  {

fs .close();

} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

}

}




}

}

 

3.  将字符串 “ hello world ”输出到 HDFS上/input/hello.txt文件 中

package  hdfs;

 

 

 

import  java.io.IOException;

 

import  org.apache.hadoop.conf.Configuration;

import  org.apache.hadoop.fs.FSDataOutputStream;

import  org.apache.hadoop.fs.FileStatus;

import  org.apache.hadoop.fs.FileSystem;

import   org.apache.hadoop.fs.LocatedFileStatus ;

import  org.apache.hadoop.fs.Path;

import   org.apache.hadoop.fs.RemoteIterator ;

 

 

 

public   class  hdfs {

public   static   void  main(String[] args ) {

// 配置账号密码

System. setProperty ( "HADOOP_USER_NAME" , "Teacher" );

System. setProperty ( "HADOOP_USER_PASSWORD" , "123456" );

// 进行连接配置

Configuration conf = new  Configuration();

conf .set( "fs.defaultFS" , "hdfs://192.168.2.100:9000" );



// 获取 hdfs 连接对象



FileSystem fs = null ;

FSDataOutputStream out = null ;

try  {

fs =FileSystem. get ( conf );

FileStatus[] list = fs .listStatus( new  Path( "/hello" ));



/*for(FileStatus f:list){

System.out.println(f.getPath()+"   "+f.getPath().getName());


}*/



/*RemoteIterator<LocatedFileStatus> fileItera=fs.listFiles(new Path("/"), true);


while(fileItera.hasNext()){

LocatedFileStatus f=fileItera.next();

System.out.println(f.getPath().getName()+"   "+f.getLen());


}*/

         out = fs .create( new  Path( "/input/hello.txt" ), true );

out .write( "hello World" .getBytes());


} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

} finally {

try  {

out .close();

fs .close();

} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

}

}




}

}

 

4.  打印 HDFS上/ input/hello.txt 中的内容

package  hdfs;

 

 

 

import  java.io.IOException;

 

import  org.apache.hadoop.conf.Configuration;

import  org.apache.hadoop.fs.FSDataInputStream;

import  org.apache.hadoop.fs.FSDataOutputStream;

import  org.apache.hadoop.fs.FileStatus;

import  org.apache.hadoop.fs.FileSystem;

import   org.apache.hadoop.fs.LocatedFileStatus ;

import  org.apache.hadoop.fs.Path;

import   org.apache.hadoop.fs.RemoteIterator ;

 

 

 

public   class  hdfs {

public   static   void  main(String[] args ) {

// 配置账号密码

System. setProperty ( "HADOOP_USER_NAME" , "Teacher" );

System. setProperty ( "HADOOP_USER_PASSWORD" , "123456" );

// 进行连接配置

Configuration conf = new  Configuration();

conf .set( "fs.defaultFS" , "hdfs://192.168.2.100:9000" );



// 获取 hdfs 连接对象



FileSystem fs = null ;

FSDataOutputStream out = null ;

FSDataInputStream in = null ;

try  {

fs =FileSystem. get ( conf );

FileStatus[] list = fs .listStatus( new  Path( "/hello" ));



/*for(FileStatus f:list){

System.out.println(f.getPath()+"   "+f.getPath().getName());


}*/



/*RemoteIterator<LocatedFileStatus> fileItera=fs.listFiles(new Path("/"), true);


while(fileItera.hasNext()){

LocatedFileStatus f=fileItera.next();

System.out.println(f.getPath().getName()+"   "+f.getLen());


}*/

         /*out=fs.create(new Path("/input/hello.txt"), true);

out.write("hello World".getBytes());*/

in = fs .open( new  Path( "/input/hello.txt" ));

byte [] b = new   byte [1024];

int   len =0;

while (( len = in .read( b ))!=-1){

System. out .println( new  String( b ,0, len ));

}



} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

} finally {

try  {

out .close();

fs .close();

} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

}

}




}

}

 

5.  将 HDFS上/ input/hello.txt 文件 下载到本地

package  hdfs;

 

 

 

import  java.io.IOException;

 

import  org.apache.hadoop.conf.Configuration;

import  org.apache.hadoop.fs.FSDataInputStream;

import  org.apache.hadoop.fs.FSDataOutputStream;

import  org.apache.hadoop.fs.FileStatus;

import  org.apache.hadoop.fs.FileSystem;

import   org.apache.hadoop.fs.LocatedFileStatus ;

import  org.apache.hadoop.fs.Path;

import   org.apache.hadoop.fs.RemoteIterator ;

 

 

 

public   class  hdfs {

public   static   void  main(String[] args ) {

// 配置账号密码

System. setProperty ( "HADOOP_USER_NAME" , "Teacher" );

System. setProperty ( "HADOOP_USER_PASSWORD" , "123456" );

// 进行连接配置

Configuration conf = new  Configuration();

conf .set( "fs.defaultFS" , "hdfs://192.168.2.100:9000" );



// 获取 hdfs 连接对象



FileSystem fs = null ;

FSDataOutputStream out = null ;

FSDataInputStream in = null ;

try  {

fs =FileSystem. get ( conf );

FileStatus[] list = fs .listStatus( new  Path( "/hello" ));



/*for(FileStatus f:list){

System.out.println(f.getPath()+"   "+f.getPath().getName());


}*/



/*RemoteIterator<LocatedFileStatus> fileItera=fs.listFiles(new Path("/"), true);


while(fileItera.hasNext()){

LocatedFileStatus f=fileItera.next();

System.out.println(f.getPath().getName()+"   "+f.getLen());


}*/

         /*out=fs.create(new Path("/input/hello.txt"), true);

out.write("hello World".getBytes());*/

/*in=fs.open(new Path("/input/hello.txt"));

byte[] b=new byte[1024];

int   len =0;

while(( len =in.read(b))!=-1){

System.out.println(new String(b,0, len ));

}*/



fs .moveToLocalFile( new  Path( "/input/hello.txt" ), new  Path( "D:/test" ));




} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

} finally {

try  {

out .close();

fs .close();

} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

}

}




}

}

 

6.  删除 HDFS上/ input/hello.txt 文件

package  hdfs;

 

 

 

import  java.io.IOException;

 

import  org.apache.hadoop.conf.Configuration;

import  org.apache.hadoop.fs.FSDataInputStream;

import  org.apache.hadoop.fs.FSDataOutputStream;

import  org.apache.hadoop.fs.FileStatus;

import  org.apache.hadoop.fs.FileSystem;

import   org.apache.hadoop.fs.LocatedFileStatus ;

import  org.apache.hadoop.fs.Path;

import   org.apache.hadoop.fs.RemoteIterator ;

 

 

 

public   class  hdfs {

public   static   void  main(String[] args ) {

// 配置账号密码

System. setProperty ( "HADOOP_USER_NAME" , "Teacher" );

System. setProperty ( "HADOOP_USER_PASSWORD" , "123456" );

// 进行连接配置

Configuration conf = new  Configuration();

conf .set( "fs.defaultFS" , "hdfs://192.168.2.100:9000" );



// 获取 hdfs 连接对象



FileSystem fs = null ;

FSDataOutputStream out = null ;

FSDataInputStream in = null ;

try  {

fs =FileSystem. get ( conf );

FileStatus[] list = fs .listStatus( new  Path( "/hello" ));



/*for(FileStatus f:list){

System.out.println(f.getPath()+"   "+f.getPath().getName());


}*/



/*RemoteIterator<LocatedFileStatus> fileItera=fs.listFiles(new Path("/"), true);


while(fileItera.hasNext()){

LocatedFileStatus f=fileItera.next();

System.out.println(f.getPath().getName()+"   "+f.getLen());


}*/

         /*out=fs.create(new Path("/input/hello.txt"), true);

out.write("hello World".getBytes());*/

/*in=fs.open(new Path("/input/hello.txt"));

byte[] b=new byte[1024];

int   len =0;

while(( len =in.read(b))!=-1){

System.out.println(new String(b,0, len ));

}*/



/*fs.moveToLocalFile(new Path("/input/hello.txt"), new Path("D:/test"));*/

fs .delete( new  Path( "/input/hello.txt" ), true );



} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

} finally {

try  {

out .close();

fs .close();

} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

}

}




}

}

 

7.  从本地将 rxzxedu.log 复制到 HDFS上/ input 目录下

package  hdfs;

 

 

 

import  java.io.IOException;

 

import  org.apache.hadoop.conf.Configuration;

import  org.apache.hadoop.fs.FSDataInputStream;

import  org.apache.hadoop.fs.FSDataOutputStream;

import  org.apache.hadoop.fs.FileStatus;

import  org.apache.hadoop.fs.FileSystem;

import   org.apache.hadoop.fs.LocatedFileStatus ;

import  org.apache.hadoop.fs.Path;

import   org.apache.hadoop.fs.RemoteIterator ;

 

 

 

public   class  hdfs {

public   static   void  main(String[] args ) {

// 配置账号密码

System. setProperty ( "HADOOP_USER_NAME" , "Teacher" );

System. setProperty ( "HADOOP_USER_PASSWORD" , "123456" );

// 进行连接配置

Configuration conf = new  Configuration();

conf .set( "fs.defaultFS" , "hdfs://192.168.2.100:9000" );



// 获取 hdfs 连接对象



FileSystem fs = null ;

FSDataOutputStream out = null ;

FSDataInputStream in = null ;

try  {

fs =FileSystem. get ( conf );

FileStatus[] list = fs .listStatus( new  Path( "/hello" ));



/*for(FileStatus f:list){

System.out.println(f.getPath()+"   "+f.getPath().getName());


}*/



/*RemoteIterator<LocatedFileStatus> fileItera=fs.listFiles(new Path("/"), true);


while(fileItera.hasNext()){

LocatedFileStatus f=fileItera.next();

System.out.println(f.getPath().getName()+"   "+f.getLen());


}*/

         /*out=fs.create(new Path("/input/hello.txt"), true);

out.write("hello World".getBytes());*/

/*in=fs.open(new Path("/input/hello.txt"));

byte[] b=new byte[1024];

int   len =0;

while(( len =in.read(b))!=-1){

System.out.println(new String(b,0, len ));

}*/



/*fs.moveToLocalFile(new Path("/input/hello.txt"), new Path("D:/test"));*/

/*fs.delete(new Path("/input/hello.txt"), true);*/

fs .copyFromLocalFile( new  Path( "D:/test/cptest.txt" ), new  Path( "/input" ) );



} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

} finally {

try  {

out .close();

fs .close();

} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

}

}




}

}

 

8.  从本地将 rxzxedu.log 剪切到 HDFS上/ input/tmp 目录下

package  hdfs;

 

 

 

import  java.io.IOException;

 

import  org.apache.hadoop.conf.Configuration;

import  org.apache.hadoop.fs.FSDataInputStream;

import  org.apache.hadoop.fs.FSDataOutputStream;

import  org.apache.hadoop.fs.FileStatus;

import  org.apache.hadoop.fs.FileSystem;

import   org.apache.hadoop.fs.LocatedFileStatus ;

import  org.apache.hadoop.fs.Path;

import   org.apache.hadoop.fs.RemoteIterator ;

 

 

 

public   class  hdfs {

public   static   void  main(String[] args ) {

// 配置账号密码

System. setProperty ( "HADOOP_USER_NAME" , "Teacher" );

System. setProperty ( "HADOOP_USER_PASSWORD" , "123456" );

// 进行连接配置

Configuration conf = new  Configuration();

conf .set( "fs.defaultFS" , "hdfs://192.168.2.100:9000" );



// 获取 hdfs 连接对象



FileSystem fs = null ;

FSDataOutputStream out = null ;

FSDataInputStream in = null ;

try  {

fs =FileSystem. get ( conf );

FileStatus[] list = fs .listStatus( new  Path( "/hello" ));



/*for(FileStatus f:list){

System.out.println(f.getPath()+"   "+f.getPath().getName());


}*/



/*RemoteIterator<LocatedFileStatus> fileItera=fs.listFiles(new Path("/"), true);


while(fileItera.hasNext()){

LocatedFileStatus f=fileItera.next();

System.out.println(f.getPath().getName()+"   "+f.getLen());


}*/

         /*out=fs.create(new Path("/input/hello.txt"), true);

out.write("hello World".getBytes());*/

/*in=fs.open(new Path("/input/hello.txt"));

byte[] b=new byte[1024];

int   len =0;

while(( len =in.read(b))!=-1){

System.out.println(new String(b,0, len ));

}*/



/*fs.moveToLocalFile(new Path("/input/hello.txt"), new Path("D:/test"));*/

/*fs.delete(new Path("/input/hello.txt"), true);*/

//fs.copyFromLocalFile(new Path("D:/test/cptest.txt"),new Path("/input") );

fs .moveFromLocalFile( new  Path( "D:/test/mvtest.txt" ), new  Path( "/input" ));


} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

} finally {

try  {

out .close();

fs .close();

} catch  (IOException e ) {

// TODO   自动生成的 catch 块

e .printStackTrace();

}

}




}

}

 


来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31537584/viewspace-2285657/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31537584/viewspace-2285657/

cltvf62644
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hdfs 拷贝文件 java_使用java API操作hdfs--拷贝部分文件到hdfs
weixin_35275781的博客
02-24 1441
要求如下：自行在本地文件系统生成一个大约一百多字节的文本文件，写一段程序(可以利用Java API或C API)，读入这个文件，并将其第101-120字节的内容写入HDFS成为一个新文件。import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.io.OutputStream...
java hdfs 复制文件内容_java hdfs常用操作 文件输入输出删除复制下载
weixin_35592186的博客
02-13 361
编写Java程序，编写满足如下要求八个方法：1.迭代显示HDFS中的所有目录和文件packagehdfs;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileStatus;importorg.apache.hadoop.fs.FileSystem;im...
使用java API操作hdfs--拷贝部分文件到hdfs
abvj64979的博客
05-09 394
要求如下： 自行在本地文件系统生成一个大约一百多字节的文本文件，写一段程序（可以利用Java API或C API），读入这个文件，并将其第101-120字节的内容写入HDFS成为一个新文件。 import java.io.File; import java.io.FileOutputStream; import java.io....
Linux纯干货知识总结
weijia521的博客
10-25 385
Linux纯干货知识总结 | 面试专用 绝对路径和相对路径 绝对路径 以正斜杠开始 完整的文件的位置路径 可用于任何想置顶一个文件名的时候 相对路径 不以斜线开始 置顶相对于当前工作目录或某目录的位置 可以作为一个简短的形式指定一个文件名 -基名：basename，就是文件本身的名字 -目录名：dirname ，就是它所在的文件夹名 更改目录 cd 改变目录 使用绝对或相对路径 cd/home/wang cd home/wang 切换至父目录：cd 切换至以...
【HDFS API编程】从本地拷贝文件，从本地拷贝大文件，拷贝HDFS文件到本地
baijiaozhan8157的博客
04-20 275
【HDFS API编程】从本地拷贝文件，从本地拷贝大文件，拷贝HDFS文件到本地 接着之前继续API操作的学习 CopyFromLocalFile: 顾名思义，从本地文件拷贝 /** * 使用Java API操作HDFS文件系统 * 关键点: *...
大数据实验二-HDFS编程实践
最新发布
04-03
2. **熟练使用Shell命令**：通过一系列Shell命令的学习与实践，让学生能够独立完成文件的上传、下载、查看目录列表、删除文件等常见操作。 3. **熟悉Java API**：除了Shell命令外，Hadoop还提供了丰富的Java API来...
Java开发岗面试知识点解析
09-29
答：HDFS 提供分布式文件系统，MapReduce 实现大规模数据处理，YARN 提供资源管理和调度。 2. Spark 的核心优势？ 答：Spark 提供快速、通用和可扩展的数据处理，支持批处理、交互式查询、实时流处理。 （十）...
Hadoop集群部署及测试实验（二）.docx
03-01
2. **掌握HDFS基础Shell命令**：包括文件和目录的基本操作命令，如查看、创建、删除、移动、复制等。 3. **理解HDFS Java API的应用**：学习如何通过Java编程接口对HDFS进行更高级别的操作，包括文件的上传、下载...
大数据作业1
08-08
这部分包括了文件和目录的管理，例如使用`cd`、`ls`、`mkdir`、`rmdir`、`cp`、`mv`、`rm`命令进行路径切换、文件查看、目录创建和删除、文件复制和移动。此外，还涉及文件内容的查看，如使用`cat`、`tac`、`more`、...
云计算实验题.docx
07-08
- **HDFS操作**：包括查看文件系统（hdfs dfs -ls）、上传下载文件（hdfs dfs -put、-get）、删除文件（hdfs dfs -rm）、移动和重命名文件（hdfs dfs -mv）等。 - **HBase操作**：HBase是基于HDFS构建的NoSQL...
filesystem java_java-HDFS 利用 fileSystem API实现对文件的操作
weixin_28975553的博客
02-16 353
1 HDFSfile.java2 /************************************************************3 Copyright(C),1988-1999,HuaweiTech.Co.,Ltd.4 FileName:HDFSfile.java5 Author:Light6 Version:version1.07 Date:20...
hdfs java api 读写文件操作_HDFS教程：使用Java API读写命令
weixin_30402231的博客
02-15 2582
Hadoop附带一个名为 HDFS(HADOOP分布式文件系统)的分布式文件系统，基于HADOOP的应用程序利用HDFS。HDFS设计用于存储在商用硬件集群上运行的非常大的数据文件。它具有容错性，可扩展性，并且扩展极其简单。当数据超过单个物理机器上的存储容量时，必须将其划分为多台独立的计算机。管理跨机器网络的存储特定操作的文件系统称为 分布式文件系统。读操作写操作使用JAVA API访问HDFS使...
使用HDFS的Java接口对文件基本操作
hearting的博客
03-26 1289
##使用HDFS的Java接口进行文件的读写。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fsk8ZK9Q-1585232884001)(picture/1.png)] FileSystem对象 要从Hadoop文件系统中读取文件，最简单的办法是使用java.net.URL对象打开数据流，从中获取数据。不过这种方法一般要使用FsUrlStreamHandlerF...
hadoop远程调试所遇到的一些异常
心雨先生
05-17 651
hadoop远程调试所遇到的一些异常问题一： 抛异常：java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.;可能是端口问题 cdh的环境...
熟悉常用的HDFS操作（大数据技术原理与应用-第三章实验）
热门推荐
一只快乐的小蒟蒻~
10-19 1万+
一、HDFS shell命令 首先启动Hadoop，命令如下： cd /usr/local/hadoop/sbin start-dfs.sh 在终端输入如下命令，查看hdfs dfs总共支持哪些操作： cd /usr/local/hadoop/bin hdfs dfs 上述命令执行后，会显示如下的结果： 如果显示WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using buil
HDFS
weixin_44722737的博客
05-26 236
安装 请点击下载hadoop-2.6.4 解压到 /home/hdfs/hadoop 1 useradd hdfs // 创建hdfs用户 2 passwd hdfs // 设置hdfs用户的登陆密码 3 su hdfs // 切换到hdfs用户登陆 4 cd ~ // 进入hdfs的家目录 5 rz // 上传windows本地的文件到此家目录 6 tar -zxvf hadoop-2.6.4....
hadoop hdfs 之 hello,world!(HDFS简单操作)
Levent的博客
01-19 540
部署好Hadoop HDFS环境之后，可以通过shell或JavaAPI等方式来操作hdfs中的内容。 Shell方式 shell方式操作在这里不做过多介绍，基本由以下两种操作方式。 1.hdfs dfs -xx 如：hdfs dfs -put /etc/profile / 2.hadoop fs -xx 如：hadoop fs -get /profile Java API方式
Hadoop2.7.3 mapreduce（一）原理及"hello world"实例
mojolang
04-28 458
MapReduce编程模型【1】先对输入的信息进行切片处理。【2】每个map函数对所划分的数据并行处理，产生不同的中间结果输出。【3】对map的中间结果数据进行收集整理（aggregate &amp; shuffle）处理，交给reduce。【4】reduce进行计算最终结果。【5】汇总所有reduce的输出结果。【名词解释】ResourceManager：是YARN资源控制框架的中心模块，负责集...
java下载hdfs文件_java实现下载hdfs文件及文件夹
06-07
// 打开HDFS文件输入流 OutputStream outputStream = fs.create(localPathObj); // 从HDFS文件中复制数据到本地文件 fs.copyToLocalFile(hdfsPath, localPathObj); // 关闭输出流和文件系统 outputStream....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值