hadoop搭建集群

本文详细介绍了在Centos7系统上搭建Hadoop完全分布式集群的步骤,包括JDK的安装与配置、虚拟机克隆、SSH免密码登录、防火墙关闭、Hadoop配置修改与分发、集群启动以及遇到问题如namenode未启动的解决方法。此外,还涉及到scala和spark的安装。
摘要由CSDN通过智能技术生成

ifconfig: 未找到命令

参考网址:https://blog.csdn.net/Gushiyuta/article/details/90760401
方法一:输入ip addr
方法二:输入以下命令安装net-tool:
       yum -y install net-tools
       最后使用ifconfig命令验证

JDK卸载

[root@localhost software]# rpm -qa | grep java

JDK安装

1.下载并解压

创建目录/usr/software和/master,下载jdk-8u60-linux-x64.tar.gz到/usr/software目录下,并解压/master/目录下

[root@master software]# tar -zxvf /usr/software/jdk-8u60-linux-x64.tar.gz -C /master/

2.环境变量配置

[root@master software]# vi /etc/profile

<!按G可直接到文件末尾,再按i进入编辑状态,在末尾添加一下内容>
#JAVA_HOME
JAVA_HOME=/master/jdk1.8.0_60     <!你的jdk所在目录>
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH

<!按esc退出编辑状态,输入   :wq  进行保存  >

[root@master software]# source /etc/profile    <!刷新配置文件>

3.测试

<!测试jdk是否安装成功>
[root@master software]# java -version
java version "1.8.0_60"
Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)
[root@master software]# javac
用法: javac <options> <source files>
其中, 可能的选项包括:
  -g                         生成所有调试信息
  ......

克隆虚拟机

1、将前面建立且配置好的master虚拟机关闭,只有在关闭情况,才能进行虚拟机的克隆。master右击>>管理>>克隆>>选择虚拟机的当前状态>>选择创建完整克隆>>虚拟机名称:slave1;位置:E:\Virtual Machines\hadoop\slave1(选择和master虚拟机相同的位置)>>完成。同样操作进行slave2虚拟机创建。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Aa1s5orm-1590895952119)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200305155523891.png)]

2、克隆后,在slave1、slave2中进行ip与主机名映射、主机名修改、ip修改。(注意:在克隆前,要把master的删除enss30网卡中的UUID值(唯一识别码)、HWADDR(MAC地址)值和LAST_CONNECT(最近一次连接时间)值,如果不删除的话,会影响后面虚拟机的克隆。)

SSH免密码登录

1、生成公钥和私钥

[root@master ~]# cd ~/.ssh/
[root@master .ssh]# ls 
known_hosts  <!此时只有一个文件> 
[root@master .ssh]# ssh-keygen -t rsa  <!生成公钥和私钥,需要按4次enter键>
......
[root@master .ssh]# ls
id_rsa  id_rsa.pub  known_hosts   <多了公钥和私钥文件>

2、对自己实现免密登录

[root@slave2 .ssh]# ssh-copy-id slave2
......
root@slave2's password:   <!输入slave2的root密码>
......
[root@
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值