HDFS编程实践-Java版

最新推荐文章于 2024-05-11 04:34:56 发布
最新推荐文章于 2024-05-11 04:34:56 发布
阅读量295 收藏 2
点赞数
分类专栏： 大数据 文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42631782/article/details/115437827
版权

HDFS编程实践Java

Hadoop版本2（Hadoop3的代码有不同的地方，需要参考官方文档）

准备工作

  1. 下载安装Eclipse（安装在Windows上即可）

  2. 在Master的根目录上，创建myFile.txt和localFile.txt并写入任意内容

    # 如果上次shell编程有做，先删除文件
$ cd ~
$ hadoop fs -rm -f /user/qinphy/myFile.txt
$ rm -f myFile.txt
$ rm -f localFile.txt
# 创建文件
$ cd ~
$ touch myFile.txt
$ vi myFile.txt
This is myFile
Hello HDFS!
$ touch localFile.txt
$ vi localFile.txt
This is localFile
Hello Hadoop!
# input文件夹有的话，也要删除
$ hadoop fs -rm -R /user/qinphy/input

  3. 下载相关的jar包

    本次实验只涉及到hadoop-common-2.7.1.jar包

    如果需要做更大的程序，需要的所有依赖如下：

    ”/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar；

    /usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包； “/usr/local/hadoop/share/hadoop/hdfs”目录下的haoop-hdfs-2.7.1.jar和haoop-hdfs-nfs-2.7.1.jar； “/usr/local/hadoop/share/hadoop/hdfs/lib”目录下的所有JAR包。

    （可能有重复的jar包，覆盖即可）

    $ cd /usr/local/hadoop/share/hadoop/common
$ sz
选择hadoop-common-2.7.1.jar
# 其他的包本次实验用不到，如果太多可以压缩zip下载下来。

在Elipse里面编程

  1. 新建工程

    在这里插入图片描述

    在这里插入图片描述

  2. 新建lib文件夹把jar包放进去

在这里插入图片描述

在这里插入图片描述

导入jar包：把hadoop-common-2.7.1.jar复制粘贴进入lib

在这里插入图片描述

  1. 新建两个包shell和myStream

    在这里插入图片描述

    在这里插入图片描述

  2. 新建class：BasicMethod

    在这里插入图片描述

    在这里插入图片描述

    package shell;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.text.SimpleDateFormat;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;

public class BasicMethod {
	/**
	 * <h1>判断文件或者目录是否存在</h1>
	 * @param conf 配置信息
	 * @param path 文件/目录的路径
	 * @return true:存在！false:不存在！
	 */
	public static boolean isExist(Configuration conf, String path) {
		try {
			FileSystem fs = FileSystem.get(conf);
			return fs.exists(new Path(path));
		} catch (Exception e){
			e.printStackTrace();
			return false;
		}
	}
	
	/**
	 * <h1>判断目录是否为空</h1>
	 * @param conf 配置文件
	 * @param hdfsDirPath hdfs目录路径
	 * @return true:文件夹为空！false:文件夹不空！
	 */
	public static boolean isEmpty(Configuration conf, String hdfsDirPath) {
		try {
			FileSystem fs = FileSystem.get(conf);
			Path hdfsPath = new Path(hdfsDirPath);
			RemoteIterator<LocatedFileStatus> remoteIterator = fs.listFiles(hdfsPath, true);
			while(remoteIterator.hasNext()) {
				FileStatus s = remoteIterator.next();
				return false;
			}
			return true;
		} catch(Exception e) {
			e.printStackTrace();
			return false;
		}
	}
	
	/**
	 * <h1>上传文件，覆盖</h1>
	 * @param conf 配置信息
	 * @param localFilePath 本地文件路径
	 * @param hdfsFilePath 上传路径
	 * @return true:上传成功！ false:上传失败！
	 */
	public static boolean put(Configuration conf, String localFilePath, String hdfsFilePath) {
		Path localPath = new Path(localFilePath);
		Path hdfsPath = new Path(hdfsFilePath);
		try {
			FileSystem fs = FileSystem.get(conf);
			fs.copyFromLocalFile(false, true, localPath, hdfsPath);
			return true;
		} catch (IOException e) {
			e.printStackTrace();
			return false;
		}
	}
	
	/**
	 * <h1>追加文件内容</h1>
	 * @param conf 配置信息
	 * @param localFilePath 本地文件路径
	 * @param hdfsFilePath 上传路径
	 * @return true:追加成功！ false:追加失败！
	 */
	public static boolean appendFile(Configuration conf, String localFilePath, String hdfsFilePath) {
		Path hdfsPath = new Path(hdfsFilePath);
		try {
			FileSystem fs = FileSystem.get(conf);
			FileInputStream in = new FileInputStream(localFilePath);
			FSDataOutputStream out = fs.append(hdfsPath);
			byte data[] = new byte[1024];
			int read = -1;
			while((read = in.read(data)) > 0) {
				out.write(data, 0, read);
			}
			out.close();
			return true;
		} catch (IOException e) {
			e.printStackTrace();
			return false;
		}
	}
	
	/**
	 * <h1>下载文件</h1>
	 * @param conf 配置信息
	 * @param localFilePath 本地文件路径
	 * @param hdfsFilePath hdfs文件路径
	 * @return true:下载成功！false:下载失败！
	 */
	public static boolean get(Configuration conf, String localFilePath, String hdfsFilePath) {
		try {
			FileSystem fs = FileSystem.get(conf);
			Path localPath = new Path(localFilePath);
			Path hdfsPath = new Path(hdfsFilePath);
			fs.copyToLocalFile(hdfsPath, localPath);
			return true;
		} catch(IOException e) {
			e.printStackTrace();
			return false;
		}
	}
	
	public static boolean download(Configuration conf, String localFilePath, String hdfsFilePath) {
		Path hdfsPath = new Path(hdfsFilePath);
		
		try {
			FileSystem fs = FileSystem.get(conf);
			File f = new File(localFilePath);
			if(f.exists()) {
				System.out.print("文件已存在，自动重命名: ");
				Integer a = Integer.valueOf(0);
				localFilePath = localFilePath.substring(0, localFilePath.length() - 4);
				while(f.exists()) {
					a++;
					f = new File(localFilePath + a.toString() + ".txt");
				}
				localFilePath = localFilePath + a.toString() + ".txt";
				System.out.println(localFilePath);
			}
			Path localPath = new Path(localFilePath);
			fs.copyToLocalFile(hdfsPath, localPath);
			return true;
		} catch (Exception e) {
			e.printStackTrace();
			return false;
		}
	}
	
	/**
	 * <h1>把文件内容输出到终端</h1>
	 * @param conf 配置信息
	 * @param hdfsFilePath hdfs文件路径
	 */
	public static void cat(Configuration conf, String hdfsFilePath) {
		Path hdfsPath = new Path(hdfsFilePath);
		try {
			FileSystem fs = FileSystem.get(conf);
			FSDataInputStream in = fs.open(hdfsPath);
			BufferedReader d = new BufferedReader(new InputStreamReader(in));
			String line;
			while((line = d.readLine()) != null) {
				System.out.println(line);
			}
			fs.close();
		} catch(IOException e) {
			e.printStackTrace();
		}
	}
	
	/**
	 * <h1>查看文件权限</h1>
	 * @param conf 配置信息
	 * @param hdfsFilePath hdfs文件路径
	 */
	public static void lsFile(Configuration conf, String hdfsFilePath) {
		try {
			FileSystem fs = FileSystem.get(conf);
			Path hdfsPath = new Path(hdfsFilePath);
			FileStatus[] fileStatus = fs.listStatus(hdfsPath);
			for (FileStatus s : fileStatus) {
				System.out.println("路径：" + s.getPath().toString());
				System.out.println("权限：" + s.getPermission().toString());
				System.out.println("大小：" + s.getLen());
				long time = s.getModificationTime();
				SimpleDateFormat format = new SimpleDateFormat("YY-MM-DD HH:MM:SS");
				String date = format.format(time);
				System.out.println("时间：" + date);
			}
		} catch(IOException e) {
			e.printStackTrace();
		}
	}
	
	/**
	 * <h1>查看目录文件信息</h1>
	 * @param conf 配置信息
	 * @param hdfsDirPath hdfs目录路径
	 */
	public static void lsDir(Configuration conf, String hdfsDirPath) {
		try {
			FileSystem fs = FileSystem.get(conf);
			Path hdfsPath = new Path(hdfsDirPath);
			RemoteIterator<LocatedFileStatus> remoteIterator = fs.listFiles(hdfsPath, true);
			while(remoteIterator.hasNext()) {
				FileStatus s = remoteIterator.next();
				System.out.println("路径：" + s.getPath().toString());
				System.out.println("权限：" + s.getPermission().toString());
				System.out.println("大小：" + s.getLen());
				long time = s.getModificationTime();
				SimpleDateFormat format = new SimpleDateFormat("YY-MM-DD HH:MM:SS");
				String date = format.format(time);
				System.out.println("时间：" + date);
				System.out.println();
			}
		} catch(Exception e) {
			e.printStackTrace();
		}
	}
	
	/**
	 * <h1>创建目录</h1>
	 * @param conf 配置文件
	 * @param hdfsDirPath hdfs目录路径
	 * @return true:创建成功！false:创建失败！
	 */
	public static boolean mkdir(Configuration conf, String hdfsDirPath) {
		try {
			FileSystem fs = FileSystem.get(conf);
			Path hdfsPath = new Path(hdfsDirPath);
			return fs.mkdirs(hdfsPath);
		} catch(IOException e) {
			e.printStackTrace();
			return false;
		}
	}
	
	/**
	 * <h1>创建文件</h1>
	 * @param conf 配置信息
	 * @param hdfsFilePath hdfs文件路径
	 * @return true:创建成功！false:创建失败！
	 */
	public static boolean touchz(Configuration conf, String hdfsFilePath) {
		try {
			Path hdfsPath = new Path(hdfsFilePath);
			FileSystem fs = FileSystem.get(conf);
			FSDataOutputStream out = fs.create(hdfsPath);
			out.close();
			return true;
		} catch(IOException e) {
			e.printStackTrace();
			return false;
		}
	}
	
	/**
	 * <h1>删除目录或者文件</h1>
	 * @param conf 配置文件
	 * @param hdfsFilePath 删除hdfs文件路径
	 * @return true:删除成功！false:删除失败！
	 */
	public static boolean rm(Configuration conf, String hdfsFilePath) {
		try {
			FileSystem fs = FileSystem.get(conf);
			Path hdfsPath = new Path(hdfsFilePath);
			// false:删除文件和空目录
			// true:删除目录下有文件会递归删除
			return fs.delete(hdfsPath, true);
		} catch(IOException e) {
			e.printStackTrace();
			return false;
		}
	}
	
	/**
	 * <h1>移动文件</h1>
	 * @param conf 配置文件
	 * @param hdfsFilePath1 需要转移的文件路径
	 * @param hdfsFilePath2 转移的目的文件路径
	 */
	public static void mv(Configuration conf, String hdfsFilePath1, String hdfsFilePath2) {
		try {
			FileSystem fs = FileSystem.get(conf);
			String localFilePath = "/home/qinphy/tmp.txt";
			Path localPath = new Path(localFilePath);
			Path hdfsPath1 = new Path(hdfsFilePath1);
			Path hdfsPath2 = new Path(hdfsFilePath2);
			fs.moveToLocalFile(hdfsPath1, localPath);
			fs.moveFromLocalFile(localPath, hdfsPath2);
			File file = new File(localFilePath);
			file.delete();
		} catch(IOException e) {
			e.printStackTrace();
		}
	}
}

  3. 新建class：Action

    package shell;

import java.io.File;
import java.util.Scanner;

import org.apache.hadoop.conf.Configuration;

public class Action {
	private String localFilePath;
	private String hdfsFilePath;
	private Configuration conf;

	public String getLocalFilePath() {
		return localFilePath;
	}
	public void setLocalFilePath(String localFilePath) {
		this.localFilePath = localFilePath;
	}
	public String getHdfsFilePath() {
		return hdfsFilePath;
	}
	public void setHdfsFilePath(String hdfsFilePath) {
		this.hdfsFilePath = hdfsFilePath;
	}
	public void setConf(Configuration conf) {
		this.conf = conf;
	}

	public Action(Configuration conf, String localFilePath, String hdfsFilePath) {
		super();
		this.localFilePath = localFilePath;
		this.hdfsFilePath = hdfsFilePath;
		this.conf = conf;
	}
	
	public void upload() {
		Scanner input = new Scanner(System.in);
		File file = new File(localFilePath);
		if (file.exists()) {
			if (BasicMethod.isExist(conf, hdfsFilePath)) {
				System.out.print("上传文件已存在：1.追加 2.覆盖：");
				String str = input.nextLine();
				if (str.equals("1")) {
					if (BasicMethod.appendFile(conf, localFilePath, hdfsFilePath)) {
						System.out.println("追加成功！");
					} else {
						System.out.println("追加失败！");
					}
				} else {
					if (BasicMethod.put(conf, localFilePath, hdfsFilePath)) {
						System.out.println("覆盖成功！");
					} else {
						System.out.println("覆盖失败！");
					}
				}
			} else {
				if (BasicMethod.put(conf, localFilePath, hdfsFilePath)) {
					System.out.println("上传成功！");
				} else {
					System.out.println("上传失败！");
				}
			}
		} else {
			System.out.println("无法上传：本地文件不存在！");
		}
	}
	
	public void download() {
		if (BasicMethod.isExist(conf, hdfsFilePath)) {
			File file = new File(localFilePath);
			if (file.exists()) {
				System.out.println("检测到本地文件存在，自动重命名！");
				Integer a = Integer.valueOf(0);
				String newLocalPath = localFilePath.substring(0, localFilePath.length() - 4);
				while(file.exists()) {
					a++;
					file = new File(newLocalPath + a.toString() + ".txt");
				}
				newLocalPath = newLocalPath + a.toString() + ".txt";
				BasicMethod.get(conf, newLocalPath, hdfsFilePath);
				System.out.println("下载成功：" + newLocalPath);
			} else {
				BasicMethod.get(conf, localFilePath, hdfsFilePath);
				System.out.println("下载成功！");
			}
		} else {
			System.out.println("无法下载：hdfs文件不存在！");
		}
	}
	
	public void mkfile(String hdfsFilePath) {
		int index = hdfsFilePath.lastIndexOf('/');
		String hdfsDirPath = hdfsFilePath.substring(0, index);
		if (BasicMethod.isExist(conf, hdfsDirPath)) {
			if (BasicMethod.isExist(conf, hdfsFilePath)) {
				System.out.println("创建失败：文件已存在！");
			} else {
				if (BasicMethod.touchz(conf, hdfsFilePath)) {
					System.out.println("创建成功！");
				} else {
					System.out.println("创建失败！");
				}
			}
		} else {
			System.out.println("路径不存在：");
			if (BasicMethod.mkdir(conf, hdfsDirPath)) {
				System.out.println("已创建路径：" + hdfsDirPath);
			}
			if (BasicMethod.touchz(conf, hdfsFilePath)) {
				System.out.println("文件创建成功！");
			} else {
				System.out.println("创建失败！");
			}
		}
	}
	
	public void delfile(String hdfsFilePath) {
		if (BasicMethod.isExist(conf, hdfsFilePath)) {
			if (BasicMethod.rm(conf, hdfsFilePath)) {
				System.out.println("删除成功！");
			} else {
				System.out.println("删除失败！");
			}
		} else {
			System.out.println(hdfsFilePath + "无法删除：文件不存在！");
		}
	}
	
	public void mkdir(String hdfsDirPath) {
		if (BasicMethod.isExist(conf, hdfsDirPath)) {
			System.out.println("无法创建：目录路径已存在！");
		} else {
			if (BasicMethod.mkdir(conf, hdfsDirPath)) {
				System.out.println("目录创建成功！");
			} else {
				System.out.println("目录创建失败！");
			}
		}
	}
	
	public void deldir(String hdfsDirPath) {
		Scanner input = new Scanner(System.in);
		if (BasicMethod.isExist(conf, hdfsDirPath)) {
			if (BasicMethod.isEmpty(conf, hdfsDirPath)) {
				BasicMethod.rm(conf, hdfsDirPath);
				System.out.println("目录已删除！");
			} else {
				System.out.print("目录不为空，是否全部删除？Y/N: ");
				String str = input.nextLine();
				if (str.equals("Y")) {
					BasicMethod.rm(conf, hdfsDirPath);
					System.out.println("已删除目录！");
				} else {
					System.out.println("已取消操作！");
				}
			}
		} else {
			System.out.println("无法删除：目录不存在！");
		}
	}
	
	public void mvfile(String hdfsFilePath1, String hdfsFilePath2) {
		if (BasicMethod.isExist(conf, hdfsFilePath1)) {
			if (BasicMethod.isExist(conf, hdfsFilePath2)) {
				System.out.println(hdfsFilePath2 + "文件存在！");
			} else {
				BasicMethod.mv(conf, hdfsFilePath1, hdfsFilePath2);
				System.out.println("成功：" + hdfsFilePath1 + "移动到" + hdfsFilePath2);
			}
		} else {
			System.out.println(hdfsFilePath1 + ": 路径不存在！");
		}
	}
	
	public void append(String localFilePath) {
		Scanner input = new Scanner(System.in);
		File file = new File(localFilePath);
		if (BasicMethod.isExist(conf, hdfsFilePath) && file.exists()) {
			System.out.println("追加位置选择：1.文首 2.文末");
			String str = input.nextLine();
			if (str.equals("1")) {
				String localPath = "/home/qinphy/tmp.txt";
				if (BasicMethod.get(conf, localPath, hdfsFilePath)
					&& BasicMethod.rm(conf, hdfsFilePath)
					&& BasicMethod.put(conf, localFilePath, hdfsFilePath)
					&& BasicMethod.appendFile(conf, localPath, hdfsFilePath)) {
					File f = new File(localPath);
					f.delete();
					System.out.println("文首追加成功！");
				} else {
					System.out.println("文首追加失败！");
				}
			} else {
				if (BasicMethod.appendFile(conf, localFilePath, hdfsFilePath)) {
					System.out.println("追加成功！");
				} else {
					System.out.println("追加失败！");
				}
			}
		} else {
			if (!BasicMethod.isExist(conf, hdfsFilePath)) {
				System.out.println("无法追加：" + hdfsFilePath +"文件不存在！");
			} else {
				System.out.println("无法追加：" + localFilePath +"文件不存在！");
			}
		}
	}
	
	public void lsFile(String hdfsFilePath) {
		if (BasicMethod.isExist(conf, hdfsFilePath)) {
			BasicMethod.lsFile(conf, hdfsFilePath);
		} else {
			System.out.println("指定文件不存在");
		}
	}
	
	public void lsDir(String hdfsDirPath) {
		if (BasicMethod.isExist(conf, hdfsDirPath)) {
			BasicMethod.lsDir(conf, hdfsDirPath);
		} else {
			System.out.println("指定目录不存在！");
		}
	}
	
	public void show(String hdfsFilePath) {
		if (BasicMethod.isExist(conf, hdfsFilePath)) {
			BasicMethod.cat(conf, hdfsFilePath);
		} else {
			System.out.println("指定文件不存在！");
		}
	}
	
	public void test() {
		String localFilePath = "/home/qinphy/myFile.txt";
		String localFilePath2 = "/home/qinphy/localFile.txt";
		String hdfsFilePath = "/user/qinphy/myFile.txt";
		String hdfsFilePath2 = "/user/qinphy/input/myFile.txt";
		String hdfsPath1 = "/user/qinphy";
		String hdfsDirPath = "/user/qinphy/input";
		
		System.out.println();
		System.out.println("----------test:");
		System.out.println("hdfs所有文件：");
		lsDir(hdfsPath1);
		if (BasicMethod.isExist(conf, hdfsDirPath)) {
			System.out.println(hdfsDirPath + "路径存在！");
		}
		if (BasicMethod.isExist(conf, hdfsFilePath)) {
			System.out.println(hdfsFilePath + "文件内容：");
			BasicMethod.cat(conf, hdfsFilePath);
		}
		if (BasicMethod.isExist(conf, hdfsFilePath2)) {
			System.out.println(hdfsFilePath2 + "文件内容：");
			BasicMethod.cat(conf, hdfsFilePath2);
		}
		System.out.println();
		System.out.println();
		System.out.println("本地文件有：");
		File localFile1 = new File(localFilePath);
		File localFile2 = new File(localFilePath2);
		if (localFile1.exists()) {
			System.out.println(localFilePath);
		}
		if (localFile2.exists()) {
			System.out.println(localFilePath2);
		}
		String path = localFilePath.substring(0, localFilePath.length() - 4);
		Integer a = 0;
		while(a <= 10) {
			File file = new File(path + a.toString() + ".txt");
			if(file.exists()) {
				System.out.println(path + a.toString() + ".txt");
			}
			a++;
		}
		System.out.println("----------end;");
		System.out.println();
	}
}

  4. 新建class：Main

    package shell;

import org.apache.hadoop.conf.Configuration;

public class Main {

	public static void main(String[] args) {
		// TODO Auto-generated method stub
		String localFilePath = "/home/qinphy/myFile.txt";
		String localFilePath2 = "/home/qinphy/localFile.txt";
		String hdfsFilePath = "/user/qinphy/myFile.txt";
		String hdfsFilePath2 = "/user/qinphy/input/myFile.txt";
		String hdfsPath1 = "/user/qinphy";
		String hdfsPath2 = "/user/qinphy/input";
		Configuration conf = new Configuration();
		Action act = new Action(conf, localFilePath, hdfsFilePath);
		
		System.out.println("=============1. 上传文件" + localFilePath + "，三次不同选择。=============");
		System.out.println("1.1 第一次上传：");
		act.upload();	// 上传成功
		act.test();
		System.out.println("1.2 第二次上传：");
		act.upload();	// 上传追加
		act.test();
		System.out.println("1.3 第三次上传：");
		act.upload();	// 上传覆盖
		act.test();
		
		System.out.println("=============2. 追加文件：" + localFilePath2 + "追加到" + hdfsFilePath + "=============");
		act.append(localFilePath2);
		act.test();
		
		System.out.println("3. 下载文件。");
		act.download();
		act.test();
		
		System.out.println("4. 创建" + hdfsFilePath + "文件。");
		System.out.println("4.1 先删除原文件：");
		act.delfile(hdfsFilePath);
		act.test();
		System.out.println("4.2 创建文件：");
		act.mkfile(hdfsFilePath);
		act.test();
		
		System.out.println("5. 删除目录，多情况测试。");
		System.out.println("4.1 先创建空目录：" + hdfsPath2);
		act.mkdir(hdfsPath2);
		act.test();
		System.out.println("4.2 删除空目录：");
		act.deldir(hdfsPath2);
		System.out.println("4.3 创建空目录：" + hdfsPath2);
		act.mkdir(hdfsPath2);
		act.test();
		System.out.println("4.4 在input里面创建文件");
		act.mkfile(hdfsFilePath2);
		act.test();
		System.out.println("4.5 删除非空目录：");
		act.deldir(hdfsPath2);
		act.test();
		
		System.out.println("5. 移动文件：");
		System.out.println("创建空目录：" + hdfsPath2);
		act.mkdir(hdfsPath2);
		act.test();
		System.out.println("移动文件，把" + hdfsFilePath + "移动到" + hdfsFilePath2);
		act.mvfile(hdfsFilePath, hdfsFilePath2);
		act.test();
	}
}

  5. 在myStream里面新建class：MyFSDataInputStream

    package myStream;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class MyFSDataInputStream extends FSDataInputStream {
	
	public MyFSDataInputStream(InputStream in) {
		super(in);
	}
	
	public static String readLine(Configuration conf, String hdfsFilePath) {
		try {
			FileSystem fs = FileSystem.get(conf);
			Path hdfsPath = new Path(hdfsFilePath);
			FSDataInputStream in = fs.open(hdfsPath);
			BufferedReader b = new BufferedReader(new InputStreamReader(in));
			String line = null;
			if((line = b.readLine()) != null) {
				b.close();
				in.close();
				return line;
			}
			return null;
		} catch(IOException e) {
			e.printStackTrace();
			return null;
		}
	}

	public static void main(String[] args) {
		// TODO Auto-generated method stub
		Configuration conf = new Configuration();
		String hdfsFilePath = "/user/qinphy/myFile.txt";
		
		System.out.println("读取文件：");
		System.out.println(MyFSDataInputStream.readLine(conf, hdfsFilePath));
		System.out.println("\n读取完毕!");
	}
}

  6. 编译，到处jar包

    点击Main，运行。

    点击MyFSDataInputStream，运行。

    忽略错误，达到编译的目的即可。

    工程结构如下：

在这里插入图片描述

到处jar包：（编译之后，才能导出）

在这里插入图片描述

找到：Main和MyFSDataInputStream导出。

在这里插入图片描述

在这里插入图片描述

选择导出的文件夹，在Windows的下载里面。

  1. 连接到Master

    $ cd ~/Downloads
$ rz
上传Main.jar和MyFSDataInputStream.jar
$ cd ~
$ hadoop -jar ~/Downloads/Main.jar
...
1
...
2
...
Y
...
$ hadoop -jar ~/MyFSDataInputStream.jar
...
秦菲Qinphy
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据实验二-HDFS编程实践
04-03
HDFS编程实践： 1）使用HDFS文件操作的常用Shell命令； 2）利用Hadoop提供的Java API进行基本的文件操作。 二．实验目的 1、理解HDFS在Hadoop体系结构中的角色。 2、熟练使用HDFS操作常用的Shell命令。 3、熟悉HDFS...
手动编译Java hdfs访问程序
Inequality-Sign的博客
11-01 264
由于服务器在云端，vpn不好搭建，本地无法调试程序，只要本地写好代码传到服务器去编译运行了. 不知道有没有好的远程访问hdfs的访问，知道的大神希望能指点一二.1.本地写好java代码传到服务器~/tmp/lib/java_example目录下import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileS
HDFS的编程实践：Java应用程序
LSlscool的博客
05-15 712
在Linux中下载安装Eclipse Eclipse是常用的程序开发工具，可以利用Ubuntu自带的“软件中心”安装Eclipse，在桌面左侧快捷启动栏找到“Ubuntu软件” 进入“Ubuntu软件”以后，在界面右上角的搜索框中输入Eclipse，会出现Eclipse软件 点击Eclipse图标进入，单击安装按钮就可以顺利完成Eclipse的安装（我是已经安装完成了，显示的不是安装按钮） 安装时需要管理员权限，Ubuntu系统会弹出“认证”窗口进行用户认证，请输入当前用户的登录密码。同时需要注意的是
2024年最全【大数据计算】(一) HDFS操作方法和基础编程(1)，2024年最新网络安全开发必须会的技能
最新发布
2401_84519859的博客
05-11 917
对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！对于从来没有接触过网络安全的同学，我们帮你准备了详细的。，大家跟着这个大的方向学习准没问题。
HDFS编程实践（Hadoop3.1.3）
伟庭的博客
11-30 7094
HDFS编程实践（Hadoop3.1.3）
HDFS基础编程（含java程序以及部署app）
weixin_55089394的博客
11-19 1354
重点：理解文件的生成和存储的地址 难点：运行程序，二次运行同一程序时，注意已经生成的文件，考虑是否需要删除
HDFS编程实践(Hadoop3.1.3)
最後の後悔的博客
04-16 4245
Hadoop 分布式文件系统是Hadoop核心组件之一。介绍Linux操作系统中关于HDFS文件操作的常用Shell命令，利用Web界面查看和管理Hadoop文件系统，以及利用Hadoop提供的Java API进行基本的文件操作。 解决File hdfs://localhost:9000/user/hadoop does not exist 解决Call From Master/10.13.236,141 to localhost:9000 failed on connection exception:
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
在“JRE”选项中，确保选择已安装的JDK，例如java-8-openjdk-amd64。 在项目创建完成后，我们需要导入HDFS操作所需的JAR包。这些JAR包位于Hadoop的安装目录下，例如/usr/local/hadoop/share/hadoop。具体来说，我们...
hdfs_design.rar_HDFS-OPERATE_hadoop_hadoop java_hdfs
09-23
本资料集围绕“hdfs_design.rar”这个压缩包，详细介绍了HDFS的原理、操作以及在Java环境下的编程实践，对于理解Hadoop生态和进行大数据处理的开发者来说，具有很高的学习价值。 首先，HDFS的设计理念基于Google的...
大数据实验四-MapReduce编程实践
04-03
MapReduce编程实践： 使用MapReduce实现多个文本文件中WordCount词频统计功能，实验编写Map处理逻辑、编写Reduce处理逻辑、编写main方法。 二．实验目的 1、通过实验掌握基本的MapReduce编程方法。 2、实现统计HDFS...
Java-Operate-HDFS.zip_hdfs
09-20
总之，“Java-Operate-HDFS.zip_hdfs”是一个实践性质的学习资源，它提供了Java操作HDFS的基础知识和示例代码，适合初学者和有经验的开发者学习和参考。通过深入研究这些代码，可以更好地理解和掌握如何在分布式环境...
实验二、HDFS shell操作及HDFS Java API编程
04-10
适合刚接触hadoop的学生或小白，内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
HDFS文件操作命令与HDFS编程
04-10
文档详细的讲述了Hadoop中HDFS文件操作命令和HDFS编程
大数据技术原理与应用 第三章 分布式文件系统HDFS 学习指南
11-01
大数据技术原理与应用 第三章 分布式文件系统HDFS 学习指南
HDFS编程
qq_75121443的博客
11-06 390
实验内容本实验利用 Hadoop 提供的 Java API 进行编程对 HDFS 进行操作。实验目标通过本实验掌握利用 Hadoop 提供的 Java API 进行编程对 HDFS 进行操作。实验知识点HDFS 目录操作实验环境CourseGrading在线实验环境工作目录：~/Desktop/workspace/hdfs_pro预备知识Hadoop 基本操作MapReduce 编程基础HDFS 基本操作Java 编程基础。
HDFS基础编程--JavaApi
qq_46439199的博客
11-16 1729
HDFS基础编程--JavaApi
什么是 hadoop
weixin_41454036的博客
09-10 387
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS
有了这个网络安全面试题，面试就像开了挂！（附PDF）
lvaolan的博客
02-26 564
还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！​​​​内容实在太多，不一一截图了。
Hadoop之HDFS文件系统入门编程
qq_44715376的博客
05-26 539
hasoop之HDFS文件系统入门编程
hdfs编程实践实验原理
11-06
HDFS编程实践实验原理主要涉及使用HDFS API进行文件的读写操作。 在编程实践中，首先需要配置Hadoop集群的环境。通过Hadoop配置文件，可以指定HDFS的相关参数，如NameNode和DataNode的地址以及端口号。 接下来，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值