利用流读取Hadoop集群中文件的信息

pom中的配置如下:

<project xmlns="http://maven.apache.org/POM/4.0.0"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<groupId>bd1902</groupId>
	<artifactId>hadoop002</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<properties>
		<argLine>-Dfile.encoding=UTF-8</argLine>
	</properties>
	<dependencies>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-core</artifactId>
			<version>2.8.2</version>
		</dependency>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.12</version>
			<scope>compile</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.7.3</version>
		</dependency>
	</dependencies>
	<build>
		<plugins>
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>3.1</version>
				<configuration>
					<source>1.8</source>
					<target>1.8</target>
				</configuration>
			</plugin>
		</plugins>
	</build>
</project>

读取取集群中的如下信息:

读取信息到windows桌面,具体代码如下: 

package hadoop002;

import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.apache.hadoop.io.IOUtils;

public class day20190803 {
public static void copyFileToWindows() throws Exception {
		//配置
		Configuration conf=new Configuration();
		//访问的集群
		URI uri=new URI("hdfs://hadoop104:9000");
		//获取文件系统的实例
		FileSystem fs=FileSystem.get(uri, conf, "root");
		//输入流
		FSDataInputStream in=fs.open(new Path("/test/student.txt"));
		//输出流,C:\Users\dell\Desktop\student01.txt
		FileOutputStream out=new FileOutputStream("C:\\Users\\dell\\Desktop\\student01.txt");
		//利用hadoop中自带的IOUtils对象中的静态方法,进行复制输出
		IOUtils.copyBytes(in, out, conf);
		IOUtils.closeStream(in);
		IOUtils.closeStream(out);
		IOUtils.closeStream(fs);
	}
	public static void main(String[] args) throws Exception, IOException, InterruptedException {
		copyFileToWindows();
	}
}

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值