hadoop伪分布式的API编写与eclipse结合

最新推荐文章于 2019-10-15 12:32:45 发布

SqrsCbrOnly1

最新推荐文章于 2019-10-15 12:32:45 发布

阅读量273

点赞数

分类专栏：大数据技术文章标签： hadoop Api

本文链接：https://blog.csdn.net/SqrsCbrOnly1/article/details/91895816

版权

本文介绍了如何在Eclipse中创建一个Java项目，以进行Hadoop伪分布式环境的API开发。首先，需要将Hadoop的lib包导入项目，并将core-site.xml和hdfs-site.xml配置文件放入conf目录，这些配置文件与伪分布式环境中的相同。接着，创建测试类并编写相应的代码，以实现Hadoop API的功能。

摘要由CSDN通过智能技术生成

1.新建一个Java项目
在这里插入图片描述
将lib包导入
将core-site.xml与hdfs-site.xml导入新建的conf文件夹

core-site.xml与hdfs-site.xml就是伪分布式虚拟机中的core-site.xml与hdfs-site.xml
在这里插入图片描述新建测试类
编写代码

package com.hpe.test;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
i