centOS7.6+hadoop完全分布式安装

VM12 , centOS7.7,hadoop2.7.7

一台虚拟机:
更新yum源,下wget
安装lrzsz
在xshell中用rz命令传jdk1.8压缩包到同目录下
关防火墙
同步时间
写四台主机与ip的映射 vi /etc/hosts

克隆出四台机:
克隆完后先别开启,右键它NAT生成新的MAC并复制
开启虚拟机,ip addr查看ens33中MAC和ip
(MAC是刚才点击后新生成的,ip是母机的)
修改ifcfg-ens33中的ip和HWADDR vim /etc/sysconfig/network-scripts/ifcfg-ens33
添加 NETMASK=255.255.255.0
重启网络 service network restart
然后改主机名 hostnamectl set-hostname <名字>
添加映射 vim /etc/hosts
xshell远程登录它 并打开其他虚拟机进行互Ping测试
删掉ipoid.rules rm /etc/udev/rules.d/70-persistent-ipoib.rules
克隆下一台机

克隆完后:
四台机之间一起做ssh免秘钥,测试登录(包自己)
在xshell中用rz命令传hadoop压缩包到master,
写好配置文件
( hadoop包括hdfs,yarn,mapreduce
hdfs : namenode, seconderynamenode, datanode
yarn : resourcemaneger, nodemaneger )
master装好Hadoop后(全装在master上),
格式化namenode,
测试启动hdfs和yarn,
jps查看进程。
scp命令将Hadoop文件发送给所有slave
一键启动集群,
jps查看进程
web端验证( 50070 8088 )
计算π,hadoop jar /app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi 3 3
用完不用停止集群

https://www.yuque.com/wangtianci/bigdatadoc/hadoop
https://cloud.tencent.com/developer/article/1336688
https://blog.csdn.net/qq_35495339/article/details/94205840
https://www.cnblogs.com/guigushanren/p/10162806.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值