1.先安装JDK
因为Hadoop需要在JAVA环境下运行,所以在安装之前需要先安装JDK。
JDK安装步骤:
1)如果CentOS已自带低版本JDK,请先将其卸载。
2)在官网http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html下载jdk-7u79-linux-x64.rpm(64位系统,也可选32位)。
3)在/usr下新建java目录:mkdir /usr/java
4)将下载的安装文件复制到usr/java目录下
5)安装jdk:rpm -ivh jdk-7u79-linux-x64.rpm。
6)配置环境变量:vi /etc/profile
在文件中加入:
exportPATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL
exportJAVA_HOME=/usr/java/jdk1.7.0_60
exportPATH=$JAVA_HOME/bin:$PATH
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
让环境变量生效: source /etc/profile
7)到这里JDK就安装配置完成了,可通过java -version指令查看当前的java版本。
2.SSH无密码验证配置
因为Hadoop需要使用SSH协议,为了避免不停的输入密码,将SSH配置成无密码验证。
SSH无密码验证配置步骤:
1)生成密钥对:[root@localhost ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
通过以上命令将在/root/.ssh/目录下生成id_dsa私钥和id_dsa.pub公钥。
2)进入/root/.ssh目录在namenode节点下做如下配置:[root@localhost.ssh]# cat id_dsa.pub > authorized_keys
3)可以用键入sshlocalhost命令来看已经连接:此时用ssh进入localhost已经不需要密码了。
3.安装Hadoop
本次安装和配置的是hadoop单机版,主要是为了了解hadoop的安装过程和基本的操作。
hadoop单机安装与配置步骤:
1)首先从官网http://hadoop.apache.org/releases.html下载安装文件包,我下载的是2.6.0版本的hadoop-2.6.0.tar.gz。
2)在usr下创建文件夹hadoop: mkdir hadoop(这个路径可自行选择)
3)将下载的tar.gz安装包解压到/usr/hadoop目录下:tar -zxvf hadoop-2.6.0.tar.gz /usr/hadoop
4)进入/usr/hadoop/etc/hadoop/下修改hadoop-env.sh文件,配置java环境:
在最后加上
5)修改hadoop/etc/下的core-site.xml, hdfs-site.xml,mapred-site.xml三个namenode配置文件:对应于/src/core/core-default.xml,但不能直接修改它,(hadoop启动时先读取src下面的core/core-default.xml,hdfs/hdfs-default.xml,apred/mapred-default.xml,里面缺失的变量由conf下面的三个-site文件提供)。
a)配置core-site.xml:
b)配置hdfs-site.xml:
c)配置mapred-site.xml..template:
6)启动hadoop:
a)格式化namenode:
b)启动hadoop守护进程:如果执行jps后出现了图示效果表明配置成功。
此时配置成功,可以通过浏览器查看
NameNode -http://localhost:50070/
JobTracker -http://localhost:8088/ (hadoop 2.0后由原来的50030端口改成了8088端口)。