虚拟机Hadoop实战(五)用java编写…

本文详述了如何使用Java程序从Windows通过Hadoop连接远程Linux进行文件上传和下载。主要步骤包括在Netbeans中创建Java SE应用程序,导入Hadoop相关jar包,配置core-site.xml以正确指定Hadoop服务器地址。遇到的问题包括连接拒绝、No FileSystem for scheme: hdfs异常以及权限问题,文中逐一提供了解决方案。
摘要由CSDN通过智能技术生成
终于成功写了个从windows上传文件到远程Linux上hadoop系统,并下载回来的程序
【结果图】
虚拟机Hadoop实战(五)用java编写远程hadoop文件上传下载程序

虚拟机Hadoop实战(五)用java编写远程hadoop文件上传下载程序

虚拟机Hadoop实战(五)用java编写远程hadoop文件上传下载程序

  新建Netbeans工程,选择普通的Java SE应用程序,命令行的即可。其实Hadoop的程序并不复杂,只是内部依赖的包众多,很容易导致编译出错。
【系统配置简介】
1、使用Netbeans IDE的环境是windows,远程连接的Hadoop在地址为10.100.78.101的Linux上(VMware虚拟机)
2、windows、linux下都使用相同的Hadoop 2.7.3版本解压
3、Linux下的core-site.xml内容需要更改为实际ip地址10.100.78.101,而不是原先的localhost
4、在windows端,我把待上传的文件存储在 D:/!虚拟机/!待上传文件/hello.txt    
内容为:
First file upload system test
第一个上传文件系统测试



【步骤一,导入包】工程文件同样用Netbeans创建,需要导入外部hadoop众多,这里说明:
hadoop-2.7.3\share\hadoop\common\lib\   下的所有jar包
hadoop-2.7.3\share\hadoop\common\       下的hadoop-common-2.7.3.jar
hadoop-2.7.3\share\hadoop\mapreduce\   下的hadoop-mapreduce-client-core-2.7.3.jar
                        和hadoop-mapreduce-client-common-2.7.3.jar
hadoop-2.7.3\share\hadoop\hdfs\               下的hadoop-hdfs-2.7.3.jar
(关于部分包解决的问题详见文末)

【步骤二】编写程序:
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class UploadHadoop {

    public static boolean CreatDir(String dst, Configuration conf) {
        Path dstPath = new Path(dst);
        try {
 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值