java代码实现hdfs

最新推荐文章于 2024-03-28 13:18:24 发布
最新推荐文章于 2024-03-28 13:18:24 发布
阅读量792 收藏 10
点赞数
分类专栏： 笔记 文章标签： hdfs java hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46665939/article/details/121944935
版权

1

package examples;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;

import java.io.*;

public class HDFSApi {

	//判断路径是否存在
	public static boolean test(Configuration conf,String path) throws IOException{
		FileSystem fs = FileSystem.get(conf);
		return fs.exists(new Path(path));
	}
	//复制文件到制定路径，若路径已存在，则进行覆盖
	public static void copyFromLocalFile(Configuration conf,String localFilePath,String remoteFilePath) throws IOException{
		FileSystem fs=FileSystem.get(conf);
		Path localPath = new Path (localFilePath);
		Path remotePath = new Path(remoteFilePath);
		//fs.copyFromLocalFile第一个参数表示是否删除源文件，第二个参数表示是否覆盖
		
		fs.copyFromLocalFile(false,true,localPath,remotePath);
		fs.close();
	}
	//追加文件内容
	public static void appendToFlie(Configuration conf,String localFilePath,String remoteFilePath) throws IOException{
		FileSystem fs = FileSystem.get(conf);
		Path remotePath = new Path(remoteFilePath);
		//
		FileInputStream in = new FileInputStream(localFilePath);
		//
		FSDataOutputStream out = fs.append(remotePath);
		//
		byte[] data = new byte[1024];
		int read = -1;
		while ((read=in.read(data))>0){
			
			out.write(data,0,read);
		}
		out.close();
		in.close();
		fs.close();
	}
	//主函数
	public static void main(String[] args){
		Configuration conf = new Configuration();
		conf.set("fs.defaultFs","http://localhost:9870");
		String localFilePath = "home/下载/text.txt";//本地路径
		String remoteFilePath = "/user/hadoop/text.txt";//hdfs路径
		String choice = "append";
		String choice2 ="overwrite";
		try {
			//判断文件是否存在
			Boolean fileExists = false;
			if(HDFSApi.test(conf,remoteFilePath)){
				fileExists= true;
				System.out.println(remoteFilePath+"已存在");
			}else {
				System.out.println(remoteFilePath+"不存在.");
			}
			//进行处理
			if(!fileExists){//文件不存在，则上传
			HDFSApi.copyFromLocalFile(conf,localFilePath,remoteFilePath);
			System.out.println(localFilePath+"已上传至 "+remoteFilePath);
			} else if(choice.equals("overwrite")){//选择覆盖
			HDFSApi.copyFromLocalFile(conf,localFilePath,remoteFilePath);
			System.out.println(localFilePath+"已覆盖"+remoteFilePath);
			} else if (choice.equals("append")){ //选择追加
			HDFSApi.appendToFlie(conf,localFilePath,remoteFilePath);
			System.out.println(localFilePath+"已追加至"+remoteFilePath);
			}
		}catch(Exception e){
			e.printStackTrace();
		}
		
	}
}

2

package example;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
public class HDFSApi {
//下载文件到本地
// 判断本地路径是否已存在，若已存在，则自动进行重命名
	public static void copyToLocal(Configuration conf,String remoteFilePath,
			String localFilePath)throws IOException{
			FileSystem fs=FileSystem.get (conf);
			Path remotePath=new Path(remoteFilePath);
			File f=new File (localFilePath);
			//如果文件名存在，自动重命名
			if(f.exists()){
			System.out.println (localFilePath+"已存在.");
			Integer i=0;
			while (true){
			f=new File(localFilePath+"_"+i.toString());
			if(!f.exists()){
			localFilePath=localFilePath+" "+i.toString ();
			break;
			}
			}
			System.out.println("将重新命名为∶"+localFilePath);
			}
			//下载文件到本地
			Path localPath=new Path (localFilePath);
			fs.copyToLocalFile (remotePath,localPath);
			fs.close ();
	}
public static void main(String[] args){
Configuration conf=new Configuration();
conf.set("fs.default.name","hdfs://localhost:9000");
String localFilePath="/home/hadoop/text.txt";//本地路径
String remoteFilePath="/user/hadoop/text.txt"; //HDFs路径
	try{
HDFSApi.copyToLocal(conf,remoteFilePath,localFilePath);
System.out.println（"下载完成"）;
	} catch(Exception e){
e.printStackTrace();
		}
	}
}

3

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
public class HDFSApi {

//读取文件内容

public static void cat(Configuration conf,string remoteFilePath)throws
IOException {
FileSystem fs=FileSystem.get (conf);
PathremotePath=new Path (remoteFilePath);
FSDataInputStream in=fs.open (remotePath);
BufferedReader d=new BufferedReader(new InputStreamReader(in));
String line=null;
while((line=d.readLine ())!=null){
System.out.println (line);
}
d.close();
in.close();
fs.close();
}

//主函数

public static void main(String[] args)(
Configuration conf=new Configuration();
conf.set("fs.default.name","hdfs://localhost:9000");
String remoteFilePath="/user/hadoop/text.txt";//HDFS路径
try {
System.out.println（"读取文件∶"+remoteFilePath）;
HDFSApi.cat (conf,remoteFilePath);
System.out.println（"\n 读取完成"）;
} catch (Exception e){
e.printStackTrace ();
		}
	}
}

4

package example;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
importjava.io.* ;
import java.text.SimpleDateFormat;
public class HDFSApi {

//显示指定文件的信息

public static void ls(Configuration conf,String remoteFilePath)throws
IOException{
FilesSystem fs=FileSystem.get (conf);
Path remotePath=new Path(remoteFilePath);
FileStatus[] fileStatuses=fs.listStatus(remotePath);
for(FileStatus s: fileStatuses){
System.out.println（"路径∶"+s.getPath（）.toString（））;
System.out.println（"权限∶"+s.getPermission（）.toString（））;
System.out.println（"大小∶ "+s.getLen（））;
/* 返回的是时间戳，转化为时间日期格式 */
Long timeStamp=s.getModificationTime ();
SimpleDateFormat format=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
String date=format.format(timeStamp);
System.out.println("时间∶ "+date);
	}
fs.close();
}

//主函数

public static void main(String[] args){
Configuration conf=new Configuration ();
conf.set("fs.defaultFs","http://localhost:9870");
String remoteFilePath="/user/hadoop/text.txt";//HDFS路径
try {
System.out.println("读取文件信息∶"+remoteFilePath);
HDFSApi.ls(conf,remoteFilePath);
System.out.println("\n 读取完成");
} catch(Exception e){
e.printStackTrace ();
  		}
	}
}

5

package example;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
import java.text.SimpleDateFormat;
public class HDFSApi{
//显示指定文件夹下所有文件的信息（递归）

public static void lsDir(Configuration conf,String remoteDir)throws
IOException{
FileSystem fs=FileSystem.get (conf);
Path dirPath=new Path (remoteDir);
//递归获取目录下的所有文件
RemoteIterator<LocatedFileStatus>remoteIterator=fs.listFiles
(dirPath,true);
//输出每个文件的信息 
while(remoteIterator.hasNext ()){
FileStatus s=remoteIterator.next ();
System.out.println("路径∶"+s.getPath().toString());
System.out.println("权限∶"+s.getPermission ().toString());
System.out.println("大小∶ "+s.getLen());
Long timeStamp=s.getModificationTime ();
SimpleDateFormat format=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
String date= format.format(timeStamp);
System.out.println("时间∶"+date);
System.out.println ();
		}
fs.close();
}

//主函数

public static void main (String[] args){
Configuration conf=new Con figuration ();
conf.set("fs.default.name","hdfs://localhost:9000");
String remoteDir="/user/hadoop";//HDFS路径
try (
System.out.println("（递归）读取目录下所有文件的信息∶"+remoteDir));
HDFSApi.lsDir(conf,remoteDir);
System.out.println("读取完成");
} catch(Exception e){
e.printStackTrace ();
 		}
	}
}

6

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
public class HDFSApi(

// 判断路径是否存在

public static boolean test(Configuration conf,String path)throws IOException {
	FileSystem fs=FileSystem.get (conf);
	return fs.exists(new Path (path));
}


//创建目录

public static boolean mkdir(Configuration conf,String remoteDir)throws IOException{
FileSystem fs=FileSystem.get(conf);
Path dirPath=new Path (remoteDir);
boolean result=fs.mkdirs(dirPath);
fs.close ();
return result;
}

//创建文件

public static void touchz(Configuration conf,String remoteFilePath) throws IOException {
FileSystem fs=FileSystem.get (conf);
Path remotePath=new Path (remoteFilePath);
FSDataOutputStream outputStream=fs.create(remotePath);
outputStream.close ();
fs.close();
}

//删除文件

public static boolean rm(Configuration conf,String remoteFilePath) throws IOException {
FileSystem fs=FileSystem.get (conf);
Path remotePath=new Path (remoteFilePath);
boolean result=fs.delete(remotePath,false);
fs.close ();
return result;
}

//主函数

public static void main(String[] args) {
	Configuration conf=new Configuration();
	conf.set("fs.default.name","hdfs://localhost:9000");
	String remoteFilePath="/user/hadoop/input/text.txt";//HDFS路径
	String remoteDir="/user/hadoop/input"; //HDFS 路径对应的目录
	try {
	//判断路径是否存在，存在则删除，否则进行创建 
	if(HDFSApi.test(conf,remoteFilePath)){
	HDFSApi.rm（conf，remoteFilePath）;//删除
	System.out.println（"删除路径∶"+remoteFilePath）;
	)}else{
	if（!HDFSApi.test（conf，remoteDir））（ //若目录不存在，则进行创建
	HDFSApi.mkdir(conf,remoteDir);
	System.out.println（"创建文件夹∶"+remoteDir）;
	}
	HDFSApi.touchz(conf,remoteFilePath);
	System.out.println（"创建路径∶"+remoteFilePath）;
	)
	) catch(Exception e) {
		e.printStackTrace ();
	}
}

7

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
public class HDFSApi{

//判断路径是否存在

public static boolean test(Configuration conf,Stringpath)throws
IOException {
FileSystem fs=FileSystem.get (conf);

// 判断目录是否为空
//true∶空;false∶ 非空

public static boolean isDirEmpty(Configuration conf,String remoteDir)
throws IOException {
FileSystem fs=FileSystem.get(conf);
Path dirPath=new Path (remoteDir);
RemoteIterator<LocatedFileStatus>remoteIterator=fs.listFiles
(dirPath,true);
return !remoteIterator.hasNext ();

}

//创建目录

public static boolean mkdir(Configuration conf,String remoteDir)throws
IOException {
FileSystem fs=FileSystem.get(conf);
Path dirPath=new Path (remoteDir);
boolean result=fs.mkdirs (dirPath);
fs.close ();
return result;
}
//删除目录

public static boolean rmDir(Configuration conf,String remoteDir)throws IOException {
	
	FileSystem fs=FileSystem.get(conf);
	Path dirPath=new Path (remoteDir);
	// 第二个参数表示是否递归删除所有文件 
	boolean result=fs.delete(dirPath,true);
	fs.close();
	return result;
	
}


//主函数

public static void main(String[] args){
Configuration conf=new Configuration();
conf.set("fs.defaultFS","hdfs://localhost:9000");
String remoteDir="/user/hadoop/input";//HDFS目录
Boolean forceDelete=false;//是否强制删除
try {
/* 判断目录是否存在，不存在则创建，存在则删除 */
if(!HDFSApi.test(conf,remoteDir)){
HDFSApi.mkdir（conf，remoteDir）;//创建目录
System.out.println("创建目录∶"+remoteDir);
)else (
if(HDFSApi.isDirEmpty(conf,remoteDir)|I forceDelete){
//目录为空或强制删除
HDFSApi.rmDir(conf,remoteDir);
System.out.println("删除目录∶"+remoteDir);
} else{ //目录不为空
System.out.println("目录不为空，不删除∶"+remoteDir);
		}
	}
}catch(Exception e){
	e.printStackTrace ();
		}
	}
}

8

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop. fs.*;
import java.io.*;
public class HDFSApi (
/**
*判断路径是否存在
*/
public static boolean test(Configuration conf,String path)throws
IOException {
FileSystem fs=FileSystem.get(conf);
return fs.exists (new Path (path));
}


//追加文本内容

public static void appendContentToFile(Configuration conf,String
content,String remoteFilePath)throws IOException
FileSystem fs=FileSystem.get (conf);
Path remotePath=new Path(remoteFilePath);
/*创建一个文件输出流，输出的内容将追加到文件末尾 */
FSDataOutputStream out=fs.append(remotePath);
out.write (content.getBytes ());
out.close();
fs.close();
/**
* 追加文件内容
*/
public static void appendToFile(Configuration conf,String localFilePath,
String remoteFilePath)throws IOException{
FileSystem fs=FileSystem.get (conf);
Path remotePath=new Path (remoteFilePath);

FileInputStream in=new FileInputStream(localFilePath);
//创建一个文件输出流，输出的内容将追加到文件末尾
FSDataOutputStream out=fs.append(remotePath);
/*读写文件内容*/
byte[] data=new byte[1024];
int read=-1;
while((read=in.read(data))>0) {
out.write (data,0,read);
}
out.write(data,0,read);
}
out.close();
in.close();
fs.close();
}


//移动文件到本地
//移动后删除源文件

public static void moveToLocalFile(Configuration conf,String
remoteFilePath,String localFilePath)throws IOException {
FileSystem fs=FileSystem.get (conf);
Path remotePath=new Path (remoteFilePath);
Path localPath=new Path (localFilePath);
fs.moveToLocalFile (remotePath,localPath);
	}

//创建文件

public static void touchz(Configuration conf,String remoteFilePath)
throws IOException {
FileSystem fs=FileSystem.get (conf);
Path remotePath=new Path (remoteFilePath);
FSDataOutputStream outputStream=fs.create(remotePath);
outputStream.close ();
fs.close();
}

//主函数

public static void main(String[] args){
Configuration conf=new Configuration();
conf.set("fs.default.name","hdfs://localhost:9000");
String remoteFilePath="/user/hadoop/text.txt"; //HDFS 文件
String content="新追加的内容\n";
String choice= "after"; //追加到文件末尾
String choice= "before"; //追加到文件开头
try {
/* 判断文件是否存在 */
if(!HDFSApi.test(conf,remoteFilePath)){
System.out.println（"文件不存在∶"+remoteFilePath）;
}else {
if (choice.equals("after")){ //追加在文件末尾
HDFSApi.appendContentToFile(conf,content,remoteFilePath);
System.out.println（"已追加内容到文件末尾"+remoteFilePath）;
}else if（choice.equals（"before"））{//追加到文件开头
//没有相应的 API可以直接操作，因此先把文件移动到本地
//创建一个新的 HDFS，再按顺序追加内容
String localTmpPath="/user/hadoop/tmp.txt";
//移动到本地
HDFSApi.moveToLocalFile(conf,remoteFilePath,localmpPath);
//创建一个新文件
HDFSApi.touchz (conf,remoteFilePath);
//先写入新内容
HDFSApi.appendContentToFile(conf,content,remoteFilePath));
//再写入原来内容
HDFSApi.appendToFile(conf,localTmpPath,remoteFilePath);
System.out.println（"已追加内容到文件开头∶"+remoteFilePath）;
}
力
} catch (Exception e){
e.printStackTrace ();

		}
	}
}

9

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;

public class HDFSApi{

//删除文件

public static boolean rm(Configuration conf,String remoteFilePath)
throws IOException {
FileSystem fs=FileSystem.get(conf);
Path remotePath=new Path (remoteFilePath);
boolean result=fs.delete (remotePath,false);
fs.close ();
return result;

}



//主函数

public static void main(String[] args){
Configuration conf=new Configuration ();
conf.set("fs.defaultFs","hdfs://localhost:9000");
String remoteFilePath="/user/hadoop/text.txt";//HDFS 文件
try {
if(HDFSApi.rm(conf,remoteFilePath)){
System.out.println("文件删除∶"+remoteFilePath);
)else {
System.out.println("操作失败（文件不存在或删除失败）");
}
} catch (Exception e){
e.printStackTrace ();

		}
	}
}

10

importorg.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
public class HDFSApi{ 
//移动文件

public static boolean mv(Configuration conf,String remoteFilePath,
String remoteToFilePath)throws IOException {
FileSystem fs=FileSystem.get (conf);
Path srcPath=new Path (remoteFilePath);
Path dstPath=new Path (remoteToFilePath);
boolean result=fs.rename(srcPath,dstPath);
fs.close();
return result;
}


//主函数

public static void main(String[] args){
Configuration conf=new Configuration ();
conf.set("fs.defaultFs","hdfs://localhost:9000");
String remoteFilePath="hdfs:///user/hadoop/text.txt";
//源文件 HDFS 路径
String remoteToFilePath= "hdfs:///user/hadoop/new.txt";
//目的 HDFS 路径
try {
if(HDFSApi.mv(conf,remoteFilePath,remoteToFilePath))
System.out.println（"将文件"+remoteFilePath+"移动到 "+
remoteToFilePath);
)else{
System.out.printiln（"操作失败（源文件不存在或移动失败）"）;
}
} catch(Exception e){
e.printStackTrace ();
		}
	}
}

11

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
importjava.io.*;
public class MyFSDataInputStream extends FSDataInputStream{
public MyFSDataInputStream(InputStream in){
super(in);
}

//实现按行读取
//每次读入一个字符，遇到"\n"结束，返回一行内容

public static String readline(BufferedReader br)throws IOException{
char[] data=new char[1024];
int read=-1;
int off=0;
//循环执行时，br 每次会从上一次读取结束的位置继续读取
//因此该函数里，off 每次都从0开始
while((read=br.read(data,off,1))!=-1){
if(String.valueOf(data[off]).equals("\n")){
off+=1;
break; 
}
off+=1;
}
if(off>0){
return String.valueOf (data);
}else {
return null;
	}
}

//读取文件内容

public static void cat(Configuration conf,String remoteFilePath)throws
IOException {
FileSystem fs=FileSystem.get (conf);
Path remotePath=new Path (remoteFilePath);
FSDataInputStream in= fs,open (remotePath);
BufferedReaderbr=new BufferedReader(new InputStreamReader(in);
String line= null;
while((line=MyFSDataInputStream.readline(br))!=null){
System.out.println (line);
}
br.close();
in.close();
fs.close ();
}

//主函数

public static void main(String [] args){
Configuration conf=new Configuration();
conf.set("fs.defaultFs","hdfs://localhost:9000");
String remoteFilePath="/user/hadoop/text.txt";//HDFS路径
try {
MyFSDataInputStream.cat (conf,remoteFilePath);
} catch(Exception e){
e.printStackTrace ();
		}
	}
}

12

import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import java.io.*;
import java.net.URL;
public class HDFSApi {
static{
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}

//主函数

public static void main(String[] args)throws Exception{
String remoteFilePath="hdfs:///user/hadoop/text.txt";//HDFS文件
InputStream in=null;
try{
// 通过 URL对象打开数据流，从中读取数据
in=new URL(remoteFilePath).openStream();
IOUtils.copyBytes(in,System.out,4096,false);
}finally{
IOUtils.closeStream(in);
		}
	}
}
不懂技术的枫
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop——HDFS文件系统的Java API操作（上传、下载、查看、删除、创建文件）详细教学
2401_84415708的博客
04-18 996
分享一套我整理的面试干货，这份文档结合了我多年的面试官经验，站在面试官的角度来告诉你，面试官提的那些问题他最想听到你给他的回答是什么，分享出来帮助那些对前途感到迷茫的朋友。
JAVA操作HDFS集群
m0_56369204的博客
06-25 2093
本文介绍了使用Java操作HDFS集群的方法，具体的操作包括创建目录、删除文件、移动与重命名文件、查询文件信息以及文件的上传和下载等。通过示例代码和截图展示了每个操作的实际效果，帮助读者理解和使用HDFS安全模式和相关操作。
HDFS之Java客户端操作
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
06-27 2092
HDFS之Java客户端操作
Java操作HDFS
HelloWorld
01-11 2369
使用Java操作HDFS
Hadoop——HDFS文件系统的Java API操作
最新发布
2301_82241859的博客
03-28 334
2.7.4org.apache.hadoophadoop-hdfs2.7.4org.apache.hadoophadoop-client2.7.4junitjunit4.12IDEA会自动保存文件并且导入依赖包，点击右侧的Maven，展开Dependencies，可以看到四个依赖包以及导入进来了我们通过junit来进行测试，首先创建一个类，添加如下内容public class JavaAPI {// 可操作HDFS文件系统的对象FileSystem hdfs = null;// 测试方法执行前执行，用于初始
使用Java API操作HDFS
m0_73832851的博客
11-02 3385
使用Java API操作HDFS的实验原理如下：配置Hadoop环境：首先需要配置Hadoop的环境，包括设置Hadoop的安装路径、配置core-site.xml和hdfs-site.xml等文件，以便Java程序能够连接到HDFS。引入Hadoop依赖：在Java项目中，需要引入Hadoop的相关依赖，包括hadoop-common、hadoop-hdfs等依赖，以便能够使用Hadoop提供的API。
hdfs java代码实现文件基础操作
03-03
接下来，我们逐一探讨这些基本操作的Java代码实现。 1. **创建目录** 使用`FileSystem`类的`mkdirs()`方法创建目录。例如： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop...
JAVA操作HDFS案例的简单实现
08-29
"JAVA操作HDFS案例的简单实现" 本篇文章主要介绍了JAVA操作HDFS案例的简单实现，涵盖了JAVA操作HDFS的基本概念、HDFS的基本操作、 JAVA与HDFS的集成等相关知识点。 1. JAVA操作HDFS的基本概念 HDFS（Hadoop ...
HDFS判断文件或目录是否存在——Shell命令实现 + Java代码实现
01-20
一、Shell命令实现 ...二、Java代码实现 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSFileIfExist {
Java API操作HDFS示例代码.rar
08-04
Windows下配置Hadoop的Java开发环境以及用Java API操作HDFS: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119379055
利用JAVA代码将本地文件传入HDFS中
06-28
标题 "利用JAVA代码将本地文件传入HDFS中" 涉及到的是在Java编程环境中，使用Hadoop Distributed File System (HDFS) API来上传本地文件系统的文件到HDFS的过程。HDFS是Hadoop的核心组件之一，它提供了一个分布式、...
写HDFS文件
weixin_45744450的博客
08-31 126
用java向hdfs中写文件 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.*; import java.net.URI; import java.net.URISyntaxException; public class testCreate { public stati
区块链之java调用智能合约（一）编译智能合约
paul.peng的博客
05-11 8739
在git中提供的案例呢，只包含了智能合约的展示和智能合约本体。并没有提供说，如何在java中使用智能合约。
Java API操作HDFS写入，读取，重命名，显示文件列表等
qq_65274143的博客
12-01 6338
Java API操作HDFS写入，读取，重命名，显示文件列表等
java操作HDFS代码实现
s_pr1te的博客
04-11 386
自己做的一些小训练0.0 public class HDFSDemo { private Configuration conf; private FileSystem fs; @Before public void before() throws Exception { //初始化,加载hadoop默认的配置文件,如果有指定的位置,则覆盖默认的配置 conf=new Con...
Java API实现HDFS有关目录与文件的相关功能
热门推荐
行秋的博客
10-24 1万+
HDFS常用操作 JavaAPI实现HDFS以下功能。 1.在HDFS中创建一个新目录； 2.从本地拷贝文件到新创建的目录中； 3.将HDFS中指定文件的内容输出到终端中； 4.显示一个指定目录下所有文件； 5.完成指定目录下指定类型文件的合并 6.在HDFS中，将文件从源路径移动到目的路径。 7.删除HDFS中指定的文件； 实验环境：IDEA 项目如下： 代码如下： 1.在HDFS中创建一个新目录； import org....
HDFS Java API 基本操作实验
bjyxszd_YYDS的博客
12-08 439
本实验已经搭建好了Hadoop HA的完全分布式集群。
HDFS基础编程（含java程序以及部署app）
weixin_55089394的博客
11-19 1354
重点：理解文件的生成和存储的地址 难点：运行程序，二次运行同一程序时，注意已经生成的文件，考虑是否需要删除
大数据hadoop学习【5】-----通过JAVA编程，实现对HDFS文件的过滤与合并
qq_42451251的博客
04-01 3017
大数据hadoop学习【5】-----通过JAVA编程，实现对HDFS文件的过滤与合并目录一、创建文件数据1、切换到hadoop账户，并运行hadoop2、在路径为[/user/hadoop]下创建file文件夹，用来保存我们的数据文件3、在file文件夹下创建3个写有学生基本信息的file文件4、创建文件Merge.txt，用于合并接收过滤后的文件二、编写JAVA程序，实现对HDFS文件的过滤与...
java代码实现HDFS路径重命名
06-08
您可以使用Java API来重命名HDFS路径。以下是示例代码： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值