大数据(四)---------在Eclipse上搭建Hadoop开发环境,HDFS---API简单实现

最新推荐文章于 2022-04-14 22:23:47 发布

lpqupup

最新推荐文章于 2022-04-14 22:23:47 发布

阅读量711

点赞数 1

分类专栏： Hadoop 文章标签： Hadoop Hadoop开发环境

本文链接：https://blog.csdn.net/qq_40510501/article/details/91858991

版权

Hadoop 专栏收录该内容

7 篇文章 1 订阅

订阅专栏

Eclipse环境搭建：

1.保证电脑上已经配置JDK

2.配置hadoop的环境变量，变量名：HADOOP_HOME，变量值：hadoop的路径

修改Path路径----->新增 %HADOOP_HOME%\bin

在系统变量中新建HADOOP_USER_NAME，值为root

3.配置eclipse环境

①在eclipse启动之前，将hadoop-eclipse-plugin-2.6.0.jar复制到eclipse的安装目录下的plugins文件夹

②启动eclipse

③在eclipse上方工具栏找到Window--->Show View--->Map/Reduce Locations

④把eclipse视图切换为Map/Reduce

⑤与集群建立连接

⑥

上图的端口号也可以在网页上查看，启动集群，网页访问IP:端口号

⑦ 以上配置完成后，在项目列表会出现DFS Locations，在这之前，最好上传两个文件，方便查看配置效果；

⑧在eclipse上方工具栏找到Window--->首选项(Preferences)--->Hadoop Map/Reduce，配置hadoop的路径，和环境变量的路径相同

⑨下面我们会用到一些HDFS的API，所以，可以创建一个lib包，把一些需要用的Jar包放在一块，方便使用

同样：在eclipse上方工具栏找到Window--->首选项(Preferences)--->Java--->Build Path--->User Libraries---->New(创建lib包)--->Add External JARs(向lib包添加jar包)

使用方法如下图所示

HDFS--API简单使用：

1.在项目里面引入core-site.xml和hdfs-site.xml配置文件

新建一个folder文件夹，从集群里把这两个配置文件导出，放入该文件，然后右击该文件--->Build Path--->Use as Source Folder，使文件生效

2.在项目里引入所需jar包，具体操作参考上面第⑨

3.简单测试

package com.hadoop.lpq;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

/**
 * @author lpq
 * @date 2019年6月13日
 */
public class TestHdfs {
	
	//引导配置文件
	Configuration conf = null;
	//创建文件流
	FileSystem fs = null;

	@Before
	public void conn() throws Exception {
		//加载配置文件
		conf = new Configuration(true);
		fs = FileSystem.get(conf);
	}
	
	@After
	public void close() throws Exception {
		//关流
		fs.close();
	}
	
	@Test
	public void mkdir() throws Exception {
		Path path = new Path("/aaa");
		if(fs.exists(path)) {//查询该文件是否存在
			fs.delete(path);//如果存在，删除
		}
		fs.mkdirs(path);//如果不存在，创建该文件
	}
	
	/**
	 * 不能重命名文件夹
	 */
	@Test
	public void rename() throws Exception {
		Path p1 = new Path("/lpq");
		Path p2 = new Path("/profile.txt");
		//第一个参数为要修改的文件，后一个参数为修改后的文件名
		fs.rename(p1, p2);
	}
	
	@Test
	public void uploadFile() throws Exception {
		//输出位置(上传的位置)
		Path inputFile = new Path("/user/lpq/abc.txt");
		//相当于文件内容的输出
		FSDataOutputStream output = fs.create(inputFile);
		
		//输入位置，要上传的文件
		InputStream input = new BufferedInputStream(new FileInputStream(new File("E:\\software\\conf\\hadoop-2.6.5\\README.txt")));
		
		IOUtils.copyBytes(input, output, conf, true);
	}
	
	@Test
	public void downloadFile() throws Exception {
		Path src = new Path("/user/lpq/abc.txt");
		//输入源：将我集群中的文件作为输入
		FSDataInputStream input = fs.open(src);
		//输出位置
		FileOutputStream output = new FileOutputStream("E://abc.txt");
		
		IOUtils.copyBytes(input, output, conf, true);
	}
}

常见问题：

1.错误如下(网图侵删)：是由于Windows下找不到Linux的主机名造成的。