windows下的hadoop的分布部署

原创 2007年09月13日 10:13:00
1.windows下的hadoop的分布部署主要有两种方式
1.1.采用cygwin模拟linux下命令的方式,部署安装hadoop系统.
  1.2.修改系统的代码文件DF.java使其可以在windows下运行.
  主要原因在于,在hadoop的代码中对数据节点的磁盘使用情况的获取采用了
  linux下的df -k 命令进行获取
而在windows没有此命令支持,因此在数据节点启动DataNode时会产生启动进程异常错误.
  解决的方法在
hadoop的网站上已说明
具体参看.
 
http://issues.apache.org/jira/browse/HADOOP-33? page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel
基本上是找到相应的替换命令获取磁盘空间,在window xp以及2003下采用
fsutil命令获取磁盘情况即可.
2. 需要注意的是:
在上面的网址中提供的方法还有一个问题需要解决
:获取磁盘命令获取到的信息.对于操作系统的不同语言版本获取的磁盘信息前缀信息也不一样,所以对于不同的操作系统不同的语言版本可以根据需要做修改.
  

hadoop2.6.1 完全分布/伪分布部署

hadoop2.x 完全分布部署
  • linlinv3
  • linlinv3
  • 2015年10月22日 10:56
  • 1673

windows下搭建hadoop集群

1. 安装虚拟机配置网络, 本教程是基于centos下进行的 2.改Hadoop节点的名字     sudo vi /etc/sysconfig/network 3.将节点名字和ip地址进行...
  • suifengdechen
  • suifengdechen
  • 2017年09月08日 16:08
  • 169

Hadoop完全分布配置过程

准备工作:         JDK1.8.x hadoop2.7.2 eclipse 虚拟机:Ubuntu14.04               master:namenode、secondary...
  • baidu_26611019
  • baidu_26611019
  • 2017年06月10日 22:39
  • 262

在 Windows 平台下部署 Hadoop 开发环境

在 Windows 平台下部署 Hadoop 开发环境 ,安装并配置Hadoop,学习怎么在本地调试运行Map/Reduce程序。...
  • savechina
  • savechina
  • 2010年06月08日 22:49
  • 33350

Hadoop单机模式部署

Hadoop的安装有三种运行模式: 单机模式(Local (Standalone) Mode):Hadoop的默认模式,0配置。Hadoop运行在一个Java进程中,使用本地文件系统,不使用HD...
  • conansix
  • conansix
  • 2014年10月15日 14:35
  • 5692

windows上搭建hadoop开发环境

windows上搭建hadoop开发环境   前言   Windows下运行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行...
  • yangwenxue_admin
  • yangwenxue_admin
  • 2016年05月06日 16:13
  • 18452

初学hadoop,windows下安装

先bb一下,woc开始使用Cygwin来模拟linux配置hadoop,然后各种错误,找着找着发现原来2.0+的hadoop可以直接在windows下配置.当时真是1w头神兽飞过.下载hadoop 下...
  • xrui_java7
  • xrui_java7
  • 2017年04月18日 18:22
  • 1793

windows Java编写hadoop程序

需在环境变量中添加HADOOP_HOME路径 使用win下的bin和lib。(windows下需要winutils.exe)...
  • qdqht2009
  • qdqht2009
  • 2016年05月05日 09:52
  • 474

【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(完全分布模式)

一.前言hadoop的安装模式主要有三种:单机模式,伪分布模式和集群模式。单机模式和伪分布模式的安装配置请参考上文【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(单机模式+伪分布模式)...
  • shengmingqijiquan
  • shengmingqijiquan
  • 2016年10月15日 20:49
  • 851

在windows下搭建hadoop工程(二)之 WordCount 作业测试

四、WordCount.java测试1、测试准备wordcount.java程序是用来统计词频的,因此这里需要先建好输入文件。/test/input/ 但是发现从eclipse上传到hdfs中的文件...
  • u010223431
  • u010223431
  • 2016年04月12日 17:08
  • 4093
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:windows下的hadoop的分布部署
举报原因:
原因补充:

(最多只允许输入30个字)