文章是用来记录自己的学习历程,并且完全是空余时间来玩hadoop,不保证完全正确,如有错误欢迎指正。
首先当然是配置hadoop了,虽然实验室有多台电脑,但是出于是新手,还是姑且先研究清楚大名鼎鼎的MapReduce再说把。先配置简单的单机器伪分布式环境。
网上有很多文章讲配置了,我只是记录下我遇到的问题。
先是我下载的jdk1.7.0有问题,导致./hadoop namenode -format的时候没有反应,后来去察看log,发现是SHA-1错误,莫名其妙的,重装了jdk1.7.0-45没问题了。
前前后后也下载了好多个版本的hadoop,首先是和书上一样的0.20.2(1)。还有1.2.1(2),以及2.2.0(3)。书上的已经是陈旧的(1)了,但没办法,新手嘛,还是下载个旧的版本吧。(1)和(2)相比,(2)的eclipse插件有些不一样(放弃安装(2)的插件了)。(3)是新版本,很多命令放在了sbin目录下。