(HDFS)搭建eclipse搭建hadoop开发平台以及hdfs api调用——大数据分析及其可视化4

最新推荐文章于 2023-09-29 16:50:26 发布

new DFP

最新推荐文章于 2023-09-29 16:50:26 发布

阅读量3.5k

点赞数 8

文章标签：数据分析 hadoop eclipse hdfs

本文链接：https://blog.csdn.net/weixin_53472653/article/details/121461971

版权

在linux下成功的启动hadoop集群后回到windows下搭建eclipse开发平台

1.安装hadoop插件

右击图表选择属性

打开文件所在位置

进入plugins文件夹

将插件赋值到plugins文件夹

打开eclipse

先点击视图添加

再选择Map/reduc视图

将linux配置好的的hadoop文件发到windows下

在主节点下

选择hadoop文件直接拖到windows的盘符下

打开eclipse点击工具栏window->preferences

在搜索栏下搜索hadoop

选择路径（刚刚从linux系统拖到windows系统的hadoop配置文件夹）、

点击Apple

点击蓝色小象图标

配置信息

DFS的Prot与我们的hadoop配置文件中一致

namenod1的端口号9000

设置好之后

展开DFP115

在主节点的linux下

查看hdfs并且创建test文件夹

回到windows下的eclipse查看刷新后展示出HDFS上的文件结构

证明搭建平台成功

2.调用hdfsAPI

新建项目选择其他搜索MAP/reduce proj..

创建hdfsAPI项目点击完成

右击DFP115

选择 Edit hadoop....

修改hadoop.tmp.dir对于的路径这个路径来源于hadoop配置文件中的core-site.xml

在项目下建立包创建类

在主节点下查看hdfs dfs下文件又那些查看test文件为空

编写putfile.java

package com.aop.test;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class Putfile {
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		URI uri = new URI("hdfs://192.168.150.81:9000");
		FileSystem fs = FileSystem.get(uri, conf);
		//windows本地文件
		Path src = new Path("E:\\BIG_3UP\\大数据\\data_source\\data_word.txt");
		//虚拟机下的HDFS存放位置
		Path dst = new Path("/test/test_data.txt");
		fs.copyFromLocalFile(src, dst);
		System.out.println("Upload to " + conf.get("fs.defaultFS"));
		//以下相当于执行hdfs dfs -ls /
		FileStatus files[] = fs.listStatus(dst);
		for (FileStatus file : files) {
			System.out.println(file.getPath());
		}
	}
}

解释一下

Path src = new Path("E:\\BIG_3UP\\大数据\\data_source\\data_word.txt");是windows下的数据确保存在这个数据