在实践中学习Hadoop计算框架(01)--从0到Hadoop版“Hello word”:WordCount 的实现

第 3 章:Hadoop开发环境配置与搭建【实践篇】

基本思路:
windows平台
——(安装Vmware)——>创建N台虚拟机(裸机)
——(安装Linux操作系统)——>Linux平台

(如果是通过云服务器搭建,则省略上面两步。为什么?因为用票子了!)

——(集群部署)——>Hadoop平台(前夕准备)

接下来,才算是真正的要和Hadoop打交道了。你最准备好了吗?

——(安装模式:3选1)——>Hadoop平台

(了解即可)
Hadoop 支持的运行模式有3种:
本地模式、伪分布模式、全分布模式。这里我们选的是(全分布模式)

本地模式:无需运行任何守护进程,所有程序都在同一个JVM上执行。(由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适用于开发阶段。)
伪分布模式:Hadoop 对应Java守护进程都运行在一个物理机器上,模拟一个小规模集群的运行模式。
全分布模式:Hadoop 对应Java守护进程运行在一个集群上。

——(配置、搭建开发环境)——>编写第一个MapReduce程序

即
为了到达终点,我们需要做什么呢?
1.多台计算机
2.Linux操作系统
3.各个计算机之间能够通信 等(集群部署)
4.在计算机上安装Hadoop平台(Hadoop安装模式:本地、伪分布式、全分布式)
5.基于Hadoop平台【~开发环境】的搭建(如IDEA、Eclipse等Java开发工具)

然后,就可以开始我们的Hadoop之旅啦!~
实现 Hadoop版“Hello word”:“WordCount”

————————————————————————————————————

1————————————————————————————————————

【当前状况:windows平台】 ————…………————>【终极目标:WordCount的实现!!!】
(当前任务:安装Vmware)

【待补充】
2————————————————————————————————————

【当前状况:已安装Vmware】————…………————>【终极目标:WordCount的实现!!!】
(当前任务:Vmware 安装 Linux 操作系统)

这里选择的是Linux中的CentOS 7

参考:Vmware 安装 CentOS 7 详细教程(点击这里)

3————————————————————————————————————

【当前状况:Linux平台】————…………————>【终极目标:WordCount的实现!!!】
(当前任务:集群部署)

【待补充】

4————————————————————————————————————

【当前状况:已完成Hadoop安装的先决条件】————…………————>【终极目标:WordCount的实现!!!】
(当前任务:安装Hadoop

【待补充】

5————————————————————————————————————

【当前状况:已搭建好Hadoop平台】————…………————>【终极目标:WordCount的实现!!!】
(当前任务:(配置、搭建)开发环境,并(编写、编译打包、运行)第一个MapReduce程序)

【待补充】

(持续更新、完善中。。。)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

X.IO

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值