cd /usr/software/
通过xshell把tar包拖进来
tar -zxvf hadoop-2.7.3.tar.gz
rm -rf hadoop-2.7.3.tar.gz
cd hadoop-2.7.3/etc/hadoop/
vi hadoop-env.sh
找到并修改:export JAVA_HOME=/usr/software/jdk1.8.0_181
vi core-site.xml
在configuration的标签中间添加:
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadptmp/</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
vi hdfs-site.xml
在configuration的标签中间添加:
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
先做更名操作:
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在configuration的标签中间添加:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
vi yarn-site.xml
在configuration的标签中间添加:
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
vi slaves
删除里面的localhost,然后添加:
slave1
slave2
把配置好的hadoop远程拷贝给其他主机:
cd /usr/software/
scp -r hadoop-2.7.3 slave1:$PWD
scp -r hadoop-2.7.3 slave2:$PWD
配置环境变量,三台机器都要做。
在最后插入:
export HADOOP_HOME=/usr/software/hadoop-2.7.3/
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存退出完,重新加载环境变量。
source /etc/profile
初始化集群,有且仅在master机器上初始化一次。以后开启的时候,就不要初始化了。
hadoop namenode -format
如果初始化成功,会出现Storage directory /root/hadptmp/dfs/name has been successfully formatted.
如果初始化失败,就看人家的提示,大多数情况,都是配置文件有问题。
开启集群:
单独开启HDFS:start-dfs.sh
开启HDFS和Yarn:start-all.sh
验证:在三台机器上分别输入jps
在master节点出现:
16964 SecondaryNameNode
17115 ResourceManager
16781 NameNode
17375 Jps
在slave1和slave2上出现:
16593 NodeManager
16698 Jps
16495 DataNode
或者通过web界面进行查看:
IP地址:50070