吴楚狂生

征服自己!

windows下的hadoop的分布部署

1.windows下的hadoop的分布部署主要有两种方式
1.1.采用cygwin模拟linux下命令的方式,部署安装hadoop系统.
  1.2.修改系统的代码文件DF.java使其可以在windows下运行.
  主要原因在于,在hadoop的代码中对数据节点的磁盘使用情况的获取采用了
  linux下的df -k 命令进行获取
而在windows没有此命令支持,因此在数据节点启动DataNode时会产生启动进程异常错误.
  解决的方法在
hadoop的网站上已说明
具体参看.
 
http://issues.apache.org/jira/browse/HADOOP-33? page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel
基本上是找到相应的替换命令获取磁盘空间,在window xp以及2003下采用
fsutil命令获取磁盘情况即可.
2. 需要注意的是:
在上面的网址中提供的方法还有一个问题需要解决
:获取磁盘命令获取到的信息.对于操作系统的不同语言版本获取的磁盘信息前缀信息也不一样,所以对于不同的操作系统不同的语言版本可以根据需要做修改.
  
阅读更多
上一篇linux sed 批量替换多个文件中的字符串
下一篇个人常用的VIM命令列表
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭