第 3 章:Hadoop开发环境配置与搭建【实践篇】
基本思路:
windows平台
——(安装Vmware)——>创建N台虚拟机(裸机)
——(安装Linux操作系统)——>Linux平台
(如果是通过云服务器搭建,则省略上面两步。为什么?因为用票子了!)
——(集群部署)——>Hadoop平台(前夕准备)
接下来,才算是真正的要和Hadoop打交道了。你最准备好了吗?
——(安装模式:3选1)——>Hadoop平台
(了解即可)
Hadoop 支持的运行模式有3种:
本地模式、伪分布模式、全分布模式。这里我们选的是(全分布模式)
本地模式:无需运行任何守护进程,所有程序都在同一个JVM上执行。(由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适用于开发阶段。)
伪分布模式:Hadoop 对应Java守护进程都运行在一个物理机器上,模拟一个小规模集群的运行模式。
全分布模式:Hadoop 对应Java守护进程运行在一个集群上。
——(配置、搭建开发环境)——>编写第一个MapReduce程序
即
为了到达终点,我们需要做什么呢?
1.多台计算机
2.Linux操作系统
3.各个计算机之间能够通信 等(集群部署)
4.在计算机上安装Hadoop平台(Hadoop安装模式:本地、伪分布式、全分布式)
5.基于Hadoop平台【~开发环境】的搭建(如IDEA、Eclipse等Java开发工具)
然后,就可以开始我们的Hadoop之旅啦!~
实现 Hadoop版“Hello word”:“WordCount”
————————————————————————————————————
1————————————————————————————————————
【当前状况:windows平台】 ————…………————>【终极目标:WordCount的实现!!!】
(当前任务:安装Vmware)
【待补充】
2————————————————————————————————————
【当前状况:已安装Vmware】————…………————>【终极目标:WordCount的实现!!!】
(当前任务:Vmware 安装 Linux 操作系统)
这里选择的是Linux中的CentOS 7
参考:Vmware 安装 CentOS 7 详细教程(点击这里)
3————————————————————————————————————
【当前状况:Linux平台】————…………————>【终极目标:WordCount的实现!!!】
(当前任务:集群部署)
【待补充】
4————————————————————————————————————
【当前状况:已完成Hadoop安装的先决条件】————…………————>【终极目标:WordCount的实现!!!】
(当前任务:安装Hadoop
【待补充】
5————————————————————————————————————
【当前状况:已搭建好Hadoop平台】————…………————>【终极目标:WordCount的实现!!!】
(当前任务:(配置、搭建)开发环境,并(编写、编译打包、运行)第一个MapReduce程序)
【待补充】
(持续更新、完善中。。。)