1、hadoop 1.x伪分布式部署
关于hadoop的部署,网上能搜到的帖子一大推,部署起来也比较简单,这里我简要介绍一下部署过程中的重难点
1.1、环境介绍
1、linux机器:centos 6.0 Linux version 2.6.32-71.el6.x86_64
2、hadoop安装包:这里选0.20.2,hadoop权威指南第2版是用的这个hadoop版本。
这里提供一个镜像下载地址:(突然找不到了...暂时先不写了)
3、jdk 必须采用1.6及以上版本 我用的是jdk-6u45-linux-x64.bin 在oracle官网上下的
1.2、 jdk安装
1、将jdk-6u45-linux-x64.bin 拷贝到任意目录,我拷贝到/opt下
2、用"./jdk-6u45-linux-x64.bin"运行jdk安装文件,运行完后在当前目录下会生成一个“jdk1.6.0_45”目录
3、配置JAVA_HOME
vim /etc/profile
在文件末尾加上以下配置,wq保存。注意JAVA_HOME的值根据jdk实际安装路径确定。
export JAVA_HOME=/opt/jdk1.6.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH
4、用“java -version”命令查看jdk安装情况,如下则表示安装成功
[root@jiaoshou opt]# java -version
java version "1.6.0_45"
Java(TM) SE Runtime Environment (build 1.6.0_45-b06)
Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)
1、3 hadoop伪分布式部署
这里先不写了,写了前面那些,感觉边回忆边写不可靠,下次有时间重新搭一个环境,边搭建边写
2、windows 开发环境配置
1、jdk版本1.6以上
2、将hadoop安装包解压到windows机器上
3、安装hadoop插件到Eclipse,注意:很多文章说必须要用hadoop安装包中的hadoop-0.20.2-eclipse-plugin.jar 这个jar包,但实际上不行,用这个jar包访问hdfs没有问题,但是运行MapReduce程序时,点“run on hadoop” 不起作用,在http://www.cnblogs.com/end/archive/2012/11/22/2782903.html网页上找到了解决办法,应该是这个jar包有问题。