简单至上,搭一个hadoop开发环境

hadoop是纯java写的,与平台无关,但官方只给出了shell的启动脚本,所以在linux下很容易能运行一个单机hadoop作为开发环境

如果没有空闲机器来跑linux,在windows下,除了装一个虚拟机开linux,还有更简单的方法,在windows下启hadoop

cygwin是一个windows下运行shell脚本的好东西,除了脚本本身,还有linux下常用工具像grep、ssh等。安装时需要在默认基础上多选一个ssh,hadoop运行需要这个命令

装完cygwin,配置并启动好sshd,然后,不要再用cygwin那个破界面了,用scrt之类的工具ssh到localhost吧,cygwin的控制台都不能复制粘贴。。。

有了shell环境,再来简单设置一下hadoop,最简单的单机运行,只要在默认解压出来的hadoop/conf/hadoop-site/xml 里加上3个属性:

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9100</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9101</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

还有一个JAVA_HOME 这个环境变量要改改,改成cygwin 环境能访问到的路径,即:D:\jdk 改成 /cygdrivers/d/jdk
不用在你的系统环境变量里改,在 hadoop/conf/hadoop-env.sh 里指定一下就可以了

然后
hadoop/bin/hadoop namenode -format 格式化一个dfs
hadoop/bin/start-all.sh 启动服务,ok了
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值