Windows下安装Hadoop

原创 2012年03月21日 16:14:08

公司项目计划用Hadoop,现在需要用Eclipse在Windows下开发,在网上找文章,终于在单机安装成功。
台式机i5-2400 3.1G,2G内存,操作系统Win7,JDK1.6.31,推荐学习这篇文章
1.下载Cygwin,运行Setup.exe,记得安装Sed、Openssh、Openssl,安装目录为d:\cygwin。
2.安装JDK,设置Windows环境变量,添加JAVA_HOME,值为java安装目录,添加CLASSPATH,值为.

;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\dt.jar
,在Path变量中添加%JAVA_HOME%\bin
3.设置Windows环境变量,添加CYGWIN变量,值为ntsec tty,Path变量中添加d:\cygwin;d:\cygwin\bin,
4.将cygwin安装的快捷方式设置兼容性,以管理员权限运行。
5.下载hadoop 0.20.2版本(当前最新版为1.0.1,但是运行jobtracer会出现set permission错误,
java.io.IOException: Failed to set permissions of path: file:XXX to 0700
5.运行cygwin
6.更改目录权限
chmod +r /etc/group
chmod +r /etc/passwd
chmod +rwx /var
7.运行ssh-host-config
   提示 if privilege separation should be used时,输入no
   提示 if sshd should be installed as a service时,输入yes
   提示 the value of CYGWIN environment variable时,输入ntsec
   提示 Do you want to use a different name时,输入no
   提示 Create new privileged user account 'cyg_server'?时,输入no
   提示 Do you want to proceed anyway?时,输入yes
8.打开Windows服务管理页面,找到CYGWIN sshd服务,设置属性,选择登录,选择有管理员权限的用户和对应的Windows登录密码
9.回到cygwin,运行
cygrunsrv -S sshd

启动sshd服务。
10.在本地生成空密码的公钥和私钥,运行

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
11.配置本地访问不需要密码,运行
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
12.测试本地访问
ssh localhost
没有使用过ssh连接localhost, 那么会有提示添加localhost到knowhosts中去,然后要求输入密码,记得运行exit,退出ssh。
13.将下载的hadoop拷贝到cygwin当前目录下,运行

tar xvzf hadoop-0.20.2.tar.gz
解压将产生hadoop软件目录。
14.删除hadoop-0.20.2.tar.gz,运行
rm hadoop-0.20.2.tar.gz
15.在hadoop安装目录下,建日志目录
mkdir logs
chmod 777 logs
16.建立jdk link,比如jdk在d:\program files\Java\jdk1.6.31目录下
ln -s "cygdrive/d/Program Files/Java/jdk1.6.31" "/usr/local/jdk"

17.打开hadoop安装目录下的conf目录,编辑hadoop-env.sh,添加

export JAVA_HOME=/usr/local/jdk
18.修改hadoop目录下conf目录下的core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/hadoop/tmp</value>
	</property>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://localhost:9000</value>
 	</property>	
</configuration>
19.修改hadoop目录下conf目录下的hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<property>
		<name>dfs.name.dir</name>
		<value>/hadoop/name</value>
	</property>
	<property>
		<name>dfs.data.dir</name>
		<value>/hadoop/data</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>
20.修改hadoop目录下conf目录下的mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>localhost:9001</value>
	</property>
	<property>
		<name>mapred.local.dir</name>
		<value>/hadoop/mpredtemp</value>
	</property>
</configuration>
21.在hadoop安装目录下,格式化命名空间
bin/hadoop namenode -format
22.在hadoop安装目录下,运行hadoop
bin/start-all.sh
23.在hadoop安装目录下,运行测试程序
bin/hadoop jar hadoop-0.20.2-examples.jar pi 2 10

24.在hadoop安装目录下,运行运行命令

bin/hadoop fs -put /cygdrive/e/Source/java/TestHadoopUploadFile/test/fg /user/sw-its-hhe-hp/sw-its-hhe/timecount/input
报错,提示
put: File /cygdrive/e/Source/java/TestHadoopUploadFile/test/fg does not exist.
由于 Cygwin 的路径并无法正常被 Hadoop 解析,亦即 Hadoop 经过 Windows OS 告知路径为 C:\hadoop4win\opt\hadoop\ 但在 Cygwin 中却为 \opt\hadoop。因此倘若您看到 File XXXX does not exist 的问题,可用 cygpath -w 指令把路径转变成 Windows 绝对路径,就可以解决,运行
cygpath -w /cygdrive/e/Source/java/TestHadoopUploadFile/test/fg
显示为E:\Source\java\TestHadoopUploadFile\test\fg,运行
bin/hadoop fs -put $(cygpath -w /cygdrive/e/Source/java/TestHadoopUploadFile/test/fg) timecount/input
拷贝成功。

Windows下安装Hadoop

Windows10下安装Hadoop2.6,Windows10下编译64位Hadoop2.x。详细记录了Windows10版本下对Hadoop的编译、安装步骤,以及相关包或者软件下载安装过程。 不需要...
  • dream_an
  • dream_an
  • 2016年07月08日 17:18
  • 18037

hadoop2.7.3版本 windows下安装步骤和配置文件(不用cywin)

  • 2017年12月12日 14:53
  • 904KB
  • 下载

hadoop-2.7 在windows环境下安装

http://blog.csdn.net/guochunyang/article/details/76147499 64位windows安装Hadoop没必要倒腾Cygwin,直接解压官网下载h...
  • u010599953
  • u010599953
  • 2017年08月07日 11:20
  • 184

初学hadoop,windows下安装

先bb一下,woc开始使用Cygwin来模拟linux配置hadoop,然后各种错误,找着找着发现原来2.0+的hadoop可以直接在windows下配置.当时真是1w头神兽飞过.下载hadoop 下...
  • xrui_java7
  • xrui_java7
  • 2017年04月18日 18:22
  • 1779

Windows下安装Cygwin配置Hadoop集群

Hadoop集群一般是配置到Linux系统之上,如果电脑用的是Windows系统,那么可以通过虚拟机安装Linux系统或者在Windows上安装Cygwin来模拟Linux环境,从而搭建Hadoop集...
  • GarfieldEr007
  • GarfieldEr007
  • 2016年03月17日 21:42
  • 1378

Windows下安装Hadoop

公司项目计划用Hadoop,现在需要用Eclipse在Windows下开发,在网上找文章,终于在单机安装成功。 台式机i5-2400 3.1G,2G内存,操作系统Win7,JDK1.6.31,推荐学...
  • johnnywww
  • johnnywww
  • 2012年03月21日 16:14
  • 11462

从零开始的 Win7 64Bit 编译Hadoop3

前言 最近在接触Hadoop方面的知识。去官网逛了一圈发现最新版本已经是3.0.0-alpha1了。刚好在搭建Hadoop的环境,就决定使用最新版本的Hadoop试试水。因为自己使用的机器是wind...
  • Alex_NINE
  • Alex_NINE
  • 2017年07月14日 10:38
  • 398

Windows下安装hadoop-eclipse-plugin插件

一、简介由于经常在windows环境下的eclipse写Hadoop的Java代码,而每次开发的mapreduce都需要打成jar包,然后放到linux系统进行调试。通过window下面的eclips...
  • xu__cg
  • xu__cg
  • 2017年02月17日 22:31
  • 1056

在Windows下安装Hadoop

在Windows下安装Hadoop IT, 技术与技巧 http://blog.openlg.net/index.php/archives/776
  • Nazarite_wen
  • Nazarite_wen
  • 2014年06月25日 08:46
  • 38759

hadoop2.7.2 window win7 基础环境搭建

hadoop环境搭建相对麻烦,需要安装虚拟机过着cygwin什么的,所以通过查资料和摸索,在window上搭建了一个,不需要虚拟机和cygwin依赖,相对简便很多。 下面运行步骤除了配置文件有部分改动...
  • fly_leopard
  • fly_leopard
  • 2016年04月26日 14:49
  • 21824
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Windows下安装Hadoop
举报原因:
原因补充:

(最多只允许输入30个字)