ps:本人初学者,如有错误请多指教,博客里这些内容基本都是自学,请看到本文的大神多多指教。
本人是在虚拟机上用centos 7 和Jdk 1.8 ,hadoop 2.7实验的(之前还想在Ubantu上实验,不过Xssh没有安装成功就暂时放弃了)
先说一下遇到的问题 首先是与宿主机互相ping 不上,后来总结有几个原因,(1)网卡没配置
(2)虚拟机连接方式不对(本人用的Net,桥接不好使。其他没试估计host-only会好使)
(3)防火墙没关(这项一定要检查,我就因为这个耗费了好多时间)
有时用Hadoop命令会提示 not found 有两个原因(1):PATH配置错误这个需要仔细检查
(2):修改完profile没有执行source,配置没有生效
搭建时我就遇到这些问题,如果你有其他问题可以拿出来大家一起研究。
步骤:1.安装虚拟机
2.设置IP
vi /etc/sysconfig/network 在其中输入NETWORKING=yes
GATWAY=(网关)
vi /etc/sysconfig/network-sripts/ifcfg-e…(我用了几个版本发现网卡名似乎都不太一样,不过前缀差不多)
我是直接全部删除然后添加,你可以修改或添加
TYPE=Ethernet
IPADDR=(网址)
NETMASK=(子网掩码)
3.重启网络
service network restart
4.检查ssh服务状态
systemctl status sshd
5.与宿主机相互ping
不通:检查下防火墙关没关,和配置出没出错,还有链接方式。ping的是虚拟机在宿主机上的虚拟网卡的IP。
关闭防火墙:systemctl stop firewalld(禁用防火墙)
system disable firewalld.service(在开机时禁用)
6.用Xshell链接虚拟机,将Hadoop和Jdk上传到Linux
7.安装Jdk
rpm -ivh ./xxx.jdk
输入java -version验证安装是否成功
8.安装Hadoop
tar -zxvf ./xxx.tar.gz(如果觉得解压后文件夹名字长可以改成简单的,我改成了hadoop)
9.修改hadoop-env.sh
vi …/hadoop/etc/hadoop/hadoop-env.sh (…/为hadoop存放路径)
修改其中JAVA_HOME使其可以找到jdk
找到JAVA_HOME 将其修改为 export JAVA_HOME=…/java/default
10.将bin和sbin路径放到PATH中
vi /etc/profile
在文件末尾追加
export PATH=$PATH:/…/hadoop/bin:/…/hadoop/sbin
存盘退出后执行 source etc/profile (不执行会发生not found 错误)
11.任意目录下敲hadoop看执行
是否成功
按这个方法多设置几台Linux互相Ping
12.给集群各个机器命名
vi /etc/hosts
在编辑器里输入
网址 + 主机名
13.修改hadoop下 core-site.xml
在其中添加
(属性)
fs.defaultFS
hdfs://namenode主机名或地址:9000 (默认的namenode机器名和端口)
14.在namenode机器输入
hdfs namenode -format(格式化namenode)
15.启动namenode
hadoop-daemon.sh start namenode
16.启动datanode
hadoop-daemon.sh start datanode
结束
ps:此文为本人观看马士兵老师视频结合自己想法所总结的,如有错误请多指教。