大数据平台的搭建(hadoop)安装(二)

在上一篇文章  大数据平台的搭建(基本环境配置)  基础环境配置(jdk，免密登陆)搭建完成后

---

开始搭建hadoop    参照这一篇

安装包放在 /usr下  ，然后解压，解压完成后删掉压缩包

 

---

配置环境变量，ok后，然后source一把，使环境变量生效

---

切换到/usr/hadoop-2.7.6/etc/hadoop这个目录下

---

配置hdfs-site.xml这个文件

---

配置core-site.xml

---

 

修改mapred-site.xml.template文件名为mapred-site.xml

mv mapred-site.xml.template    mapred-site.xml

---

 

配置mapred-site.xml

---

---

配置yarn-site.xml

---

配置slaves

---

记得使用vi hadoop-env.sh   配置Hadoop的JAVA_HOME，否则会报错

---

start-dfs.sh    启动后发现：

---

问题出现的原因，起初怀疑是服务器安全组配置问题，没有放行50070和9000端口，然后我配置一下安全组，放行所有端口，还是报相同的错误

---

 最后发现问题是：hsots主机的IP配置的阿里云公网的IP,应该配私有IP

---

 

---

jps查看当前启动的进程：

 

---

 

 

---

 

 

---

 

在namenode这台机器上，用start-all.sh就行，先启动hdfs然后再启动yarn

 

 

FR:徐海涛（hun

 Xu)
QQ技术交流群：386476712