1.上传Hadoop压缩包,解压到/opt下
解压完成为:
2.进入./hadoop-2.7.2/etc/hadoop/
编辑 hadoop-env.sh core-site.xml
hdfs-site.xml mapred-site.xml yarn-site.xml
编辑slaves
3.编辑hadoop-env.sh 配置自己jdk路径
编辑 core-site .xml ,配置IP 端口 读取文件缓冲大小
编辑hdfs-site.xml,配置副本数等
cp mapred-site.xml.template mapred-site.xml
.编辑mapred-site.xml,配置框架名字,历史记录组件等
17.编辑yarn-site.xml ,配置resourcemanager的相关信息
编辑 slaves ,将三台虚拟机的主机名添加进去
编辑环境变量
编辑映射路径
vim /etc/hosts
配置完成后,远程发送给其他的三台虚拟机
scp远程发送命令:可以将一台机器的文件或目录发送到另外一台机器
scp /a.txt root@192.168.8.115:/a 发送文件
scp -r /a root@192.168.8.115? 发送文件夹
配置ssh免登陆
生成ssh免登陆密钥
ssh-keygen -t rsa (四个回车)
//执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
//将公钥拷贝到要免登陆的机器上
jh01 namenode\resourcemanager\datanode\nodemanager(要启动的服务)
jh02 secondaryNamenode\datanode\nodemanager
jh03 datanode\nodemanager
jh01 免登录jh02和jh03和自己
jh02 免登录jh03和自己
jh03 免登录 自己
hadoop namenode -format(格式化namenode)
start-all.sh
(开启服务)
服务启动成功之后显示的是
可能出现的问题
1.主机名 三台机器必须不同。
localhost、 解决方式:修改三台机器的用户名,然后修改配置文件中的用户名,需要修改hosts中的映射信息,需要修改 slaves中的主机名 重新发送到第二第三台机器。
注意事项:格式化只能一次,即使格式化失败了也只能格式化一次。需要删除 hadoopdata文件夹才能重新格式化(格式化第一台机器即可)
如果有服务启动不起来,可以单独启动
单独启动服务命令:
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh start secondarynamenode
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
访问不了网址:
先确定服务都成功启动。jps至少查看两次
关闭虚拟机和电脑的防火墙
假如服务单独启动也启动不起来?
看日志。
/opt/hadoop-2.7.2/logs
以log结尾的文件就是日志。你们那个服务启动不起来,查看对应节点 服务的日志
tail -100