第2章 Hadoop的安装与配置
本章内容
在Linux上安装与配置Hadoop
在Mac OSX上安装与配置Hadoop
在Windows上安装与配置Hadoop
安装和配置Hadoop集群
日志分析及几个小技巧
本章小结
Hadoop的安装非常简单,大家可以在官网上下载到***的几个版本,截至本书截稿时,Hadoop的***版本是1.0.1,下载网址为http://apache.etoak.com//hadoop/core/。
Hadoop是为了在Linux平台上使用而开发的,但是在一些主流的操作系统如UNIX、Windows甚至Mac OS X系统上Hadoop也运行良好。不过,在Windows上运行Hadoop稍显复杂,首先必须安装Cygwin来模拟Linux环境,然后才能安装Hadoop。
本章将介绍在Linux、Mac OS X和Windows系统上安装***的Hadoop1.0.1版本,其中,Linux系统是Ubuntu 11.10,Mac OS X系统是10.7.3版本,Windows系统采用Windows Xp sp3。这些安装步骤均由笔者成功实践过,大家可直接参照执行。
2.1 在Linux上安装与配置Hadoop
在Linux上安装Hadoop之前,需要先安装两个程序:
1)JDK 1.6(或更高版本)。Hadoop是用Java编写的程序,Hadoop的编译及MapReduce的运行都需要使用JDK。因此在安装Hadoop前,必须安装JDK 1.6或更高版本。
2)SSH(安全外壳协议),推荐安装OpenSSH。Hadoop需要通过SSH来启动Slave列表中各台主机的守护进程,因此SSH也是必须安装的,即使是安装伪分布式版本(因为Hadoop并没有区分开集群式和伪分布式)。对于伪分布式,Hadoop会采用与集群相同的处理方式,即按次序启动文件conf/slaves中记载的主机上的进程,只不过在伪分布式中Salve为localhost(即为自身),所以对于伪分布式Hadoop,SSH一样是必需的。
【责任编辑:book TEL:(010)68476606】
点赞 0