Hadoop运行模式:
-
Local Mode
本地模式,数据存储在linux本地,测试时偶尔用
-
Psedo-Distributed Mode
伪分布式模式:数据存储在HDFS,适用预算有限的情况
-
Fully-Distributed Mode
完全分布式,数据存储在HDFS/多台服务器工作,企业大量用这个
完全分布式运行模式的搭建
步骤:
-
准备3台客户机(关闭防火墙、静态ip、主机名称)
-
安装JDK,配置环境变量
-
安装Hadoop,配置环境变量
-
配置集群
-
单点启动
-
配置ssh
-
群起并测试集群
1、编写集群分发脚本xsync
将102号主机上的JDK和hadoop拷贝到103、104中
1)scp(secure copy)安全拷贝
scp可以实现服务器之间的数据拷贝。
#基本语法:scp -r(递归) $pdir/$fname(文件路径/名称) $user@