JAVA程序实现wordcount HDFS上传下载

本文档详细介绍了如何配置JAVA环境、Eclipse、Maven,然后在Eclipse中创建Maven项目,实现HDFS的目录创建、文件上传下载以及Wordcount的mapreduce程序。通过配置环境变量、添加依赖,并编写对应的Java代码,完成HDFS的基本操作和MapReduce任务。
摘要由CSDN通过智能技术生成

一、实验前的准备

1、安装配置JDK

①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe:
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
②运行安装包,第一次选择JDK安装路径,第二次选择JRE安装路径,开始安装。
③配置JDK的环境变量,Path添加JDK的\bin的安装路径,cmd命令行运行javac,查看是否成功安装配置。

2、下载并安装 eclipse

链接: https://pan.baidu.com/s/1zi-XdBP2Q36GF64Np3cbcA
提取码: y51q

或者官网下载Eclipse
https://www.eclipse.org/downloads/

Eclipse的安装比较简单,就不再记录了,我是参照百度经验安装的

3、安装Maven

① Maven官网:
http://maven.apache.org/download.cgi
选择最近的镜像,选择Maven压缩包apache-maven-3.6.0-bin.tar.gz开始下载

②解压Maven压缩包apache-maven-3.6.0-bin.tar.gz,解压后的文件夹\apache-maven-3.6.0,将其考入自定义路径,如C:\eclipse\apache-maven-3.6.0。

我进行实验时选择了 apache-maven-3.6.1-bin.tar.gz 需要的自取
链接: https://pan.baidu.com/s/1foDlafuM0C4CX61KV4jmqg 提取码: 6b23

③配置Maven的环境变量,Path添加Maven的\bin的安装路径,cmd命令行运行mvn -v,查看是否成功安装配置

4、Eclipse配置Maven

①修改settings.xml

在安装所在文件夹\apache-maven-3.6.0下面,新建\repository文件夹,作为Maven本地仓库。

在文件settings.xml里添加

<localRepository>C:\eclipse\apache-maven-3.6.0\repository</localRepository>

②配置Maven的installation和User Settings

【Preferences】→【Maven】→【Installations】配置Maven安装路径,【User Settings】配置settings.xml的路径

③添加pom.xml依赖

依赖(Maven Repository: hadoop)所在网址

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值