实现Windows与HDFS之间的传输

最新推荐文章于 2024-04-19 11:14:22 发布

KingWeiGG

最新推荐文章于 2024-04-19 11:14:22 发布

阅读量1.4k

点赞数

文章标签： hdfs hadoop 大数据

本文链接：https://blog.csdn.net/KingWeiGG/article/details/107048626

版权

本文详细介绍了在Windows上配置Hadoop环境，并通过Java进行HDFS操作的步骤，包括配置HADOOP_HOME环境变量，添加hosts，导入Hadoop相关jar包，以及编写Java代码实现文件的创建、上传、下载和删除。注意在使用copyToLocalFile方法时可能遇到的兼容性问题和解决方案。

摘要由CSDN通过智能技术生成

hadoop2.6.0提取码: kgd1

一、本地连接hdfs配置

把hadoop2.6.0的tar.gz解压到windows本地目录
hadoop.dll,winutils.exe两个文件放到解压后hadoop的bin目录下
hadoop.dll在C:\Windows\System32里面再放一份
在C:\Windows\System32\drivers\etc\hosts中添加节点

在这里插入图片描述

配置环境变量HADOOP_HOME为解压后hadoop2.6.0的路径

在这里插入图片描述

Path变量中入%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin

在这里插入图片描述

二、准备

1.安装完hadoop并启动
Hadoop安装与配置（伪分布式、使用VM）

2.使用maven导jar包，实现Java与Hadoop连接
https://mvnrepository.com/search?q=hadoop
在这里插入图片描述

三、JAVA编写Demo（创建、上传、下载、删除）

编写测试类

package cn.kgc.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;


import java.io.IOException;
import java.net