伪分布式Hadoop集群的安装

本文详细介绍了如何在CentOS7环境下搭建伪分布式的Hadoop集群,包括系统配置、SSH免密登录设置、Java环境安装、Hadoop的部署与配置,以及集群的启动和验证过程。
摘要由CSDN通过智能技术生成

使用到的工具:
CentOS7、VMare12虚拟机、hadoop-2.6.4、SecureCRT(远程连接虚拟机)、WinSCP(实现本机和虚拟机安装的CentOS7的文件互传)
安装好一个CentOS之后,使用克隆的方法在生产第二个、第三个系统。

从这里开始已经安装好了Centos7.
1. 修改系统名字,及三个系统的ip和名字的映射。
在这里插入图片描述
2. ping一下,看上面的修改生效没?
在这里插入图片描述
3. SSH实现三台机子的免密码登陆

ssh-keygen -t dsa

在命令执行过程中敲击两遍回车,然后在/root/.ssh文件下生成id_dsa id_dsa.pub,在该文件下建立一个authorized_keys文件,将id_dsa.pub文件内容拷贝到authorized_keys文件中
在这里插入图片描述
另外两个虚拟机也执行 #ssh-keygen -t dsa操作,并分别将id_dsa.pub内容拷贝到第一台虚拟机的authorized_keys文件中。将第一台的authorized_keys文件拷贝到另外两台虚拟机的/root/.ssh/ 下面。 在这里插入图片描述
通过命令# ssh slave1 看是否可以免密互登。通过命令exit退出。
在这里插入图片描述
4. 给3台机器安装java环境
① 查看并卸载自带的jdk

rpm -qa|grep java

在这里插入图片描述
② 卸载自带的jdk
在这里插入图片描述
③ 安装jdk1.8
将jdk-8u191-linux-x64.tar.gz 上传至 /app目录下。
在这里插入图片描述
解压

tar -xvf jdk-8u191-linux-x64.tar.gz

将 解压后的文件夹移动到 /usr/local/ 下

mv jdk1.8.0_191 /usr/local/

配置环境变量

vim /etc/profile

加入
在这里插入图片描述
环境变量生效:

source /etc/profile

查看java

java -version

在这里插入图片描述
5. 安装hadoop和上面相同将hadoop使用WinSCP先上传到master,在master安装hadoop最后将安装好的文件传给其他机子。
(1)在opt目录下新建一个名为hadoop的目录,并将下载得到的hadoop-2.4.6.tar.gz解压到该目录。
(2)新建几个目录
在/root目录下新建几个目录,复制粘贴执行下面的命令:

mkdir  /root
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值