cygwin+Hadoop+win8+eclipse下的一些问题解决

1、有时会有这种 报错 java.io.IOException:Cannot run program "chmod": CreateProcess error=2 。网上找到办法,就是在系统的环境变量里 的系统变量里的变量Path下添加cygwin中bin目录的路径 。比如:C:\cygwin\bin。原因的话,个人猜测是,你的程序想执行"chmod",以便在cygwin模拟的linux系统里,创建目录之类的,这时需要cygwin里bin目录下的一些功能帮你实现。


2、有时安装eclipse的hadoop开发插件时,eclipse会找不到插件,或者各种报错,我折腾了很久,结果发现,装上一个最新版的eclipse MARS之后,完美解决。大概它还比较纯净吧,之前的eclipse被我装过太多插件了。


3、当你的程序想要访问hdfs时,并不容易。比如下面这段程序:

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class MoveFile
{

    public static void main(String[] args) throws IOException
    {
        // TODO Auto-generated method stub
        Configuration conf=new Configuration();
        FileSystem hdfs=FileSystem.get(conf);
        Path source=new Path("/usr/hadoop/input");
        Path destination=new Path("/");
        hdfs.copyFromLocalFile(source, destination);
        FileStatus files[]=hdfs.listStatus(destination);
        
        System.out.println("Move to"+conf.get("fs.default.name"));
        for(FileStatus file:files)
        {
            System.out.println(file.getPath());
        }
        

    }

}


它想将本地文件系统的文件(win8),移动到hdfs(cygwin模拟的linux上),结果发现,在本文标题所示的环境下,只是移动到了本地文件系统中。解决办法是,使用“FileSystem hdfs=FileSystem.get(URI.create("hdfs://localhost:9000/"),conf);”获得hdfs的访问。至于原因,调试时发现“FileSystem hdfs=FileSystem.get(conf);”返回的文件系统是localfilesystem,也就是本地文件系统。猜测,cygwin模拟的并不完美,hadoop程序还是发现了我们是在win8上运行。。。又或者 eclipse并没有把代码都发给hdfs去执行,有时就是在本地文件系统中执行,所以不特别指定的话,默认是在本地文件系统执行?不管了,反正是访问文件系统的问题,坑就是。

解决办法2是,在Configuration conf = new Configuration(); 之后来上这么一句,conf.set("fs.default.name","hdfs://localhost:9000"); 将conf默认的文件系统指定为hdfs。挺管用的,但有时还是需要FileSystem hdfs = FileSystem.get(URI.create("hdfs://localhost:9000/"),conf);”,而且在MapReduce的设置里我已经这么设置过了,这里岂不重复?也是醉了,不知谁能解答。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值