零基础配置Hadoop完全分布式安装

需求分析:

1.虚拟机准备

2.安装JDK

3.配置Hadoop集群

4.配置ssh

5.启动、测试集群

1.虚拟机准备

1.1 scp(secure copy)安全拷贝、安装vim

(1)scp定义:

scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)

(2)基本语法

scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname

命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

注意:

如果目标目录不存在,直接将源test放到opt目录下

scp -r test/ root@hadoop01:/opt/目标目录/ 

安装vim

sudo yum -y install vim

#Ubuntu

sudo apt-get install vim

vi 和 vim 之间的区别:

搜索:

vi :不支持正则表达式的搜索

vim:支持正则表达式的搜索

脚本语言:

vi:没有自己的脚本语言,只是在Unix及Linux系统下进行编辑的工具

vim:有自己的脚本语言,称为vim脚本(vimscript或vimL),用户可以通过多种方式使用它来增强vim

共享:

vi:不具有高度可配置性,无法和各个vi安装之间共享文件

vim:具有高度可配置性,包含vim核心全局设置(vimrc)的文件可以在各个vim安装之间共享文件

1.2 添加映射、关闭防火墙

添加映射

sudo vim /etc/hosts

#hadoop01的ip地址 hadoop01

#hadoop02的ip地址 hadoop02

例如:

192.168.80.171 hadoop01  #主机
192.168.80.172 hadoop02  #客机

  

关闭防火墙

sudo systemctl status firewalld  #查看防火墙状态

sudo systemctl stop firewalld #关闭防火墙

sudo systemctl disable firewalld #开机启动时关闭防火墙

2.安装JDK

2.1 解压jdk

 tar -zxvf jdk-8u171-linux-x64.tar.gz

mv jdk1.8.0_171 jdk1.8

2.2 修改环境变量

 sudo vim /etc/profile

# sudo vim ~/.bashrc

# bashrc 只作用于hadoop用户名下,

# /etc/profile 这个可以作用于所有

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值