需求分析:
1.虚拟机准备
2.安装JDK
3.配置Hadoop集群
4.配置ssh
5.启动、测试集群
1.虚拟机准备
1.1 scp(secure copy)安全拷贝、安装vim
(1)scp定义:
scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)
(2)基本语法
scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
注意:
如果目标目录不存在,直接将源test放到opt目录下
scp -r test/ root@hadoop01:/opt/目标目录/
安装vim
sudo yum -y install vim
#Ubuntu
sudo apt-get install vim
vi 和 vim 之间的区别:
搜索:
vi :不支持正则表达式的搜索
vim:支持正则表达式的搜索
脚本语言:
vi:没有自己的脚本语言,只是在Unix及Linux系统下进行编辑的工具
vim:有自己的脚本语言,称为vim脚本(vimscript或vimL),用户可以通过多种方式使用它来增强vim
共享:
vi:不具有高度可配置性,无法和各个vi安装之间共享文件
vim:具有高度可配置性,包含vim核心全局设置(vimrc)的文件可以在各个vim安装之间共享文件
1.2 添加映射、关闭防火墙
添加映射
sudo vim /etc/hosts
#hadoop01的ip地址 hadoop01
#hadoop02的ip地址 hadoop02
例如:
192.168.80.171 hadoop01 #主机
192.168.80.172 hadoop02 #客机
关闭防火墙
sudo systemctl status firewalld #查看防火墙状态
sudo systemctl stop firewalld #关闭防火墙
sudo systemctl disable firewalld #开机启动时关闭防火墙
2.安装JDK
2.1 解压jdk
tar -zxvf jdk-8u171-linux-x64.tar.gz
mv jdk1.8.0_171 jdk1.8
2.2 修改环境变量
sudo vim /etc/profile
# sudo vim ~/.bashrc
# bashrc 只作用于hadoop用户名下,
# /etc/profile 这个可以作用于所有