windows下的hadoop的分布部署

原创 2007年09月13日 10:13:00
1.windows下的hadoop的分布部署主要有两种方式
1.1.采用cygwin模拟linux下命令的方式,部署安装hadoop系统.
  1.2.修改系统的代码文件DF.java使其可以在windows下运行.
  主要原因在于,在hadoop的代码中对数据节点的磁盘使用情况的获取采用了
  linux下的df -k 命令进行获取
而在windows没有此命令支持,因此在数据节点启动DataNode时会产生启动进程异常错误.
  解决的方法在
hadoop的网站上已说明
具体参看.
 
http://issues.apache.org/jira/browse/HADOOP-33? page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel
基本上是找到相应的替换命令获取磁盘空间,在window xp以及2003下采用
fsutil命令获取磁盘情况即可.
2. 需要注意的是:
在上面的网址中提供的方法还有一个问题需要解决
:获取磁盘命令获取到的信息.对于操作系统的不同语言版本获取的磁盘信息前缀信息也不一样,所以对于不同的操作系统不同的语言版本可以根据需要做修改.
  

相关文章推荐

Hadoop伪分布环境部署

  • 2014年08月15日 16:15
  • 353KB
  • 下载

hadoop1.1.2的伪分布部署

本次学习hadoop伪分布部署采用了三个节点,每个节点装了centos操作系统。 进入节点设置其ip地址,设置之后重启网卡, 执行命令service network restart 验证:执行命...

Hadoop2.7.2伪分布部署

  • 2016年06月30日 17:46
  • 736KB
  • 下载

hadoop2.x 伪分布安装部署

hadoop2.0安装环境,安装步骤,配置过程,启动方式。

Linux下Hadoop(伪分布) + Zookeeper + HBase(一个节点) 部署

下面将介绍,Hbase的部署过程。 前期准备: 1.安装配置好hadoop(我这里是伪分布),并确认能够使用 core-site.xml文件配置如下: fs.defaultFS ...

Linux下部署Hadoop伪分布模式

123

Hadoop学习之以全分布模式部署及问题

之前学习Hadoop都是在VMWare虚拟机上的Linux系统上以伪分布模式部署的,最近领导对GreenPlum比较感兴趣,申请了7台物理机,也就有机会在7台物理组成的集群中以全分布模式部署Hadoo...

hadoop安装部署(伪分布及集群)

hadoop安装部署(伪分布及集群)@(HADOOP)[hadoop]hadoop安装部署伪分布及集群 第一部分伪分布式 一环境准备 二安装hdfs 三安装YARN 第二部分集群安装 一规划 一硬件资...

Hadoop权威指南——之伪分布模式环境部署。

借鉴Hadoop官网说明: 环境说明: Hadoop版本:1.0.3.  JDK:1.6.0_27 Ubuntu12.04 Purpose This document descri...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:windows下的hadoop的分布部署
举报原因:
原因补充:

(最多只允许输入30个字)