Hadoop分布式集群介绍
①JDK
②安装hadoop伪分布式集群
本地模式 → 在liunx下开发,windows下开发完毕后,直接运行MapReduce应用,就是以本地模式方式运行在集群中的。(程序员主要工作的模式)
伪分布式 → 使用一台主机模拟集群的环境,对应着多个进程。
完全分布式 → 至少要准备三台虚拟机,各台机器上部署了相应的进程,各司其职。(真实项目使用的方式,最终部署阶段要使用到的方式,大数据运维工程师)
概括
①安装JDK
②安装Hadoop:
a)本地模式 → 适用场景:在开发阶段,不需要修改hadoop任何配置文件,直接可以对hadoop进行操作。
b)伪分布式模式 → 在一台节点(服务器)上启动多个进程,每个进程各司其职。是搭建完全分布式集群的过渡阶段。
c)完全分布式模式 → 在多台节点(服务器,)上启动多个进程,每个进程各司其职,并且彼此之间进行信息交互。
(正式的大数据项目中要使用到的模式)
[root@Testmaster opt]# tar -zxvf soft/jdk-8u112-linux-x64.tar.gz