9。24 mapreduce简单实例练习

JOB


public class Tranconfig {
            public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
String properties=args[0];
String inputpath=args[1];
String outputpath=args[2];
                 Configuration conf = new Configuration();
                 ConstUtil.init(conf,properties); //初始化配置文件
                 //将参数设置到config中
                 conf.set("job_name", conf.get(ConstUtil.HADOOP_JOB_NAME));
                 conf.set("zookeeper", conf.get(ConstUtil.ZOOKEEPER_ZNODE_PARENT));
                 conf.set("reduce_num", conf.get(ConstUtil.HADOOP_REDUCE_TASKS));
                 Job job = Job.getInstance(conf,conf.get("job_name"));
                 job.setJarByClass(Tranconfig.class);//设置job启动的主类
                 job.setMapperClass(TranConfigMap.class);//添加map类
                 job.setOutputKeyClass(Text.class);//设置KEY输出的类型
                 job.setOutputValueClass(Text.class);//设置value输出的类型
                 job.setNumReduceTasks(1);
                 FileInputFormat.addInputPath(job, new Path(inputpath));
                 FileOutputFormat.setOutputPath(job, new Path(outputpath));
                 job.waitFor
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值