1.hadoop的分布式安装
1.1 设置ip地址
执行命令 service network restart验证: ifconfig
1.2 关闭防火墙
执行命令 service iptables stop验证: service iptables status
1.3 关闭防火墙的自动运行
执行命令 chkconfig iptables off验证: chkconfig --list | grep iptables
1.4 设置主机名
执行命令 (1)hostname hadoop01(2)vi /etc/sysconfig/network
1.5 ip与hostname绑定
执行命令 vi /etc/hosts验证: ping hadoop01
1.6 设置ssh免密码登陆
执行命令 (1)ssh-keygen -t rsa(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证: ssh hadoop01
1.7 设置主节点到受控节点的免密(或者集群之间两两之间免密登录)
ssh-copy-id -i hadoop02ssh-copy-id -i hadoop03
另两两之间免密登录,复制到集群其他节点:
scp /root/.ssh/authorized_keys hadoop01:/root/.ssh/
1.8 安装jdk
执行命令 (1)cd /usr/local(2)tar -zxvf jdk-8u111-linux-x64.tar.gz
(3)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk1.8.0_111
export PATH=.:$JAVA_HOME/bin:$PATH
(4)source /etc/profile
验证: java -version
1.9 安装hadoop
执行命令 (1)tar -zxvf hadoop-2.7.2.tar.gz(2)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop-2.7.2
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
(3)source /etc/profile
(4)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
(5)hadoop namenode -format
(6)start-all.sh
验证: (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
(2)在浏览器查看,http://hadoop01:50070 http://hadoop01:50030
2.0 启动时没有NameNode的可能原因:
(1)没有格式化(2)环境变量设置错误
(3)ip与hostname绑定失败