Eclipse环境搭建:
1.保证电脑上已经配置JDK
2.配置hadoop的环境变量,变量名:HADOOP_HOME,变量值:hadoop的路径
修改Path路径----->新增 %HADOOP_HOME%\bin
在系统变量中新建HADOOP_USER_NAME,值为root
3.配置eclipse环境
①在eclipse启动之前,将hadoop-eclipse-plugin-2.6.0.jar复制到eclipse的安装目录下的plugins文件夹
②启动eclipse
③在eclipse上方工具栏找到Window--->Show View--->Map/Reduce Locations
④把eclipse视图切换为Map/Reduce
⑤与集群建立连接
⑥
上图的端口号也可以在网页上查看,启动集群,网页访问IP:端口号
⑦ 以上配置完成后,在项目列表会出现DFS Locations,在这之前,最好上传两个文件,方便查看配置效果;
⑧在eclipse上方工具栏找到Window--->首选项(Preferences)--->Hadoop Map/Reduce,配置hadoop的路径,和环境变量的路径相同
⑨下面我们会用到一些HDFS的API,所以,可以创建一个lib包,把一些需要用的Jar包放在一块,方便使用
同样:在eclipse上方工具栏找到Window--->首选项(Preferences)--->Java--->Build Path--->User Libraries---->New(创建lib包)--->Add External JARs(向lib包添加jar包)
使用方法如下图所示
HDFS--API简单使用:
1.在项目里面引入core-site.xml和hdfs-site.xml配置文件
新建一个folder文件夹,从集群里把这两个配置文件导出,放入该文件,然后右击该文件--->Build Path--->Use as Source Folder,使文件生效
2.在项目里引入所需jar包,具体操作参考上面第⑨
3.简单测试
package com.hadoop.lpq;
import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
/**
* @author lpq
* @date 2019年6月13日
*/
public class TestHdfs {
//引导配置文件
Configuration conf = null;
//创建文件流
FileSystem fs = null;
@Before
public void conn() throws Exception {
//加载配置文件
conf = new Configuration(true);
fs = FileSystem.get(conf);
}
@After
public void close() throws Exception {
//关流
fs.close();
}
@Test
public void mkdir() throws Exception {
Path path = new Path("/aaa");
if(fs.exists(path)) {//查询该文件是否存在
fs.delete(path);//如果存在,删除
}
fs.mkdirs(path);//如果不存在,创建该文件
}
/**
* 不能重命名文件夹
*/
@Test
public void rename() throws Exception {
Path p1 = new Path("/lpq");
Path p2 = new Path("/profile.txt");
//第一个参数为要修改的文件,后一个参数为修改后的文件名
fs.rename(p1, p2);
}
@Test
public void uploadFile() throws Exception {
//输出位置(上传的位置)
Path inputFile = new Path("/user/lpq/abc.txt");
//相当于文件内容的输出
FSDataOutputStream output = fs.create(inputFile);
//输入位置,要上传的文件
InputStream input = new BufferedInputStream(new FileInputStream(new File("E:\\software\\conf\\hadoop-2.6.5\\README.txt")));
IOUtils.copyBytes(input, output, conf, true);
}
@Test
public void downloadFile() throws Exception {
Path src = new Path("/user/lpq/abc.txt");
//输入源:将我集群中的文件作为输入
FSDataInputStream input = fs.open(src);
//输出位置
FileOutputStream output = new FileOutputStream("E://abc.txt");
IOUtils.copyBytes(input, output, conf, true);
}
}
常见问题:
1.错误如下(网图侵删):是由于Windows下找不到Linux的主机名造成的。
解决:①将配置文件里的主机名都改成ip地址,例如 hdfs://192.168.0.101/user/superahua/hello.txt
②修改C:\Windows\System32\drivers\etc\hosts文件
在底部加入: 集群IP 主机名