【Hadoop】MAC下hadoop2.6安装以及执行wordcount

本文详细介绍了如何在Mac系统中使用Brew安装Hadoop,包括安装过程、设置路径以及执行WordCount示例的基本步骤。通过实践操作,验证了Hadoop的运行环境是否正确配置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

首先简单介绍下博主的配置环境

  • MAC 10.10.0
  • hadoop 2.6
  • JDK 1.6(可以在shell里用jdk -version查询)

hadoop安装

安装的话推荐使用mac下面的brew,理由就是用brew安装的话,它会自动给帮你配置好相应的路径。当然也可以到官网下载,注意jdk和hadoop版本要对应。

brew install hadoop

安装好了之后,可以使用brew list hadoop 来查看。
位置应该是在:/usr/local/Cellar/hadoop/
这时候就可以直接在shell里执行hadoop命令,是不是很方便。

执行wordcount

首先说一下,现在要执行的wordcount只是简单试验下hadoop是否能工作,并不是多线程的伪分布式,因为还没有配置,这个下一节会讲。

1.首先我们先建立以下数据源
在hadoop根目录下,建立一个文件夹,叫“input”
在里面放上txt数据,我直接把”readme.txt”copy 进去了
2.这时候我们就可以执行hadoop的自带命令了
首先要找到 hadoop-mapreduce-examples-2.6.0.jar 这个文件的路径,因为自带的例子都是在这个里面的。
jar 命令来执行,因为都是java写的嘛。

3.执行命令

hadoop jar /usr/local/Cellar/hadoop/2.6.0/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output
4.效果
这时候你会发现shell蹦出一大串东西
最终会生成一个output文件夹,里面的东西打开,就是wordcount
效果图

本文来自博客 “李博Garvin“
转载请标明出处:http://blog.csdn.net/buptgshengod

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值