一、安装JDK
1.下载JDK1.7,下载地址:
http://www.Oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
2.将下载好的JDK rpm包和Hadoop安装包上传至Centos,使用工具:
3.在/usr目录下创建java文件夹
4.安装JDK1.7
5.检查是否安装成功
6.配置JAVA_HOME和JRE_HOME
7.使配置的JAVA_HOME和JRE_HOME生效,并查看$PATH
二、安装Hadoop
1.修改主机名
2.在/etc/hosts下配置主机,增加IP地址解析
namenode:192.168.41.139(根)
datanode:192.168.41.138(节点)
3. 配置namenode无密码访问datanode
在namenode机器上执行ssh-keygen -t rsa, 到所有选项回车默认值即可
4.关闭防火墙
5.导入公钥到本机认证文件
cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
6. 导入公钥到其他datanode节点认证文件
注:第一次需要输入密码
7.测试连接到集群节点
8.解压hadoop-2.5.2.tar.gz
tar -zxvf hadoop-2.5.2.tar.gz
9. 修改hadoop配置文件
(1)hadoop-env.sh
(2)yarn-env.sh
(3) slaves
(4) core-site.xml
(5)hdfs-site.xml
(6)mapred-site.xml,缺少mapred-site.xml文件,copymapred-site.xml.template
(7)yarn-site.xml
10.修改/etc/profile,保存使马上生效
11.hadoop namenode 的初始化, 需要第一次的时候初始化,之后就不需要了
12.hadoop datanode安装JDK1.7
13.hadoop datanode修改/etc/hosts
注:不要把名称写在ip地址前面,这样启动会有问题
14.hadoop namenode copy Hadoop安装文件到hadoopdatanode
15.Hadoop namenode启动
16.测试Hadoop namenode
访问:
http://192.168.41.139:50070
http://192.168.41.139:8088
http://192.168.41.139:19888
三、安装遇到问题
1.在Hadoop datanode里ssh连接Hadoopnamenode报错如下:
解决方案:
在Hadoop namenode服务器里打开/etc/ssh/sshd_config
将PasswordAuthentication no中的“no”改为yes
2.Hadoop namenode启动服务,在Hadoop datanode里使用jps命令报错如下:
解决方案:
Hadoop datanode的PATH:
Hadoop namenode的PATH:
原来是从Hadoop namenode copy Hadoop的安装文件过来时,Hadoopdatanode安装JDK之后忘记配置环境,造成jps命令无法使用
执行生效:
配置之后的环境:
测试Hadoop datanode:
四、卸载
1.停止服务
2.查找Hadoop相关文件,然后删除
rm -rf /xxx/xx 删除文件