Linux下编写运行自己的WordCount程序

一、实践环境

Ubuntu14.04+JDK1.8.0_25 +Eclipse3.8+ Hadoop2.5.1

一共三台linux机器(virtualbox虚拟机,桥接网络配置静态ip),已经部署好的完全分布式环境。


二、编写WordCount程序

1.启动Eclipse,创建Java Project。


2.配置Java Project,这一步很重要,折腾了半天才配好。这一步需要加入外部的jar文件,Hadoop2.5.1的相关jar包在hadoop-2.5.1/share/hadoop目录下:

有关配置的conf方面在 hadoop-2.5.1/share/hadoop/common/hadoop-commom-2.5.1.jar 
(org.apache.hadoop.conf.Configuration 
    org.apache.hadoop.fs.Path
    org.apache.hadoop.io.IntWritable
    org.apache.hadoop.io.Text
    org.apache.hadoop.util.GenericOptionsParser

有关Mapreduce的部分是在 hadoop-2.5.1/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.5.1.jar 里面了
(org.apache.hadoop.mapreduce.Job
    org.apache.hadoop.mapreduce.Mapper
    org.apache.hadoop.mapreduce.Reducer
    org.apache.hadoop.mapreduce.lib.inp

  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值