2021-01-14

实践报告

        2020-2021学年度第1学期

课程名称 hadoop编程项目实践
设计题目 《 统计营业额信息 》
hadoop编程项目实践

一、设计目的
1.复习巩固hadoop基础知识，进一步加深对分布式编程的理解和掌握；
2.利用所学知识，理论和实际结合，利用资源，采用模块化的结构，使用模仿修改自主设计相结合的方法，锻炼学生综合分析解决实际问题的编程能力；
3.培养学生在项目开发中团队合作精神、创新意识及实战能力。
二、设计题目

统计营业额信息

题目要求：

实现代码及运行结果
//第3部分，编写Driver(main方法)
//建立一个结构体主函数//
public static void main(String[] args) {

   try{
       //1)创建Configuration对象，指明namespace的路径
       Configuration conf = new Configuration()； //创建新对象需要new对象//
      conf.set("dfs.defaultFS","hdfs://192.168.159.151:9000"); //指明了配置文件的地址//
          
       //Mapper端接收外界参数--->Driver端，封装参数(

相当于YARN集群的客户端接收数据，提交的是封装了MapReduce程序相关运行参数的job对象　）
conf.set(“year”,“2017,2018”);//接收一次年份//
//conf.set(args[0]); hadoop jar x.jar Demo1_1 2017,2018
//或者这种表述也可以，在运行函数Demo1,函数的接收客户端年份的第一个参数只接收一次数据//

       //2)创建Job
       Job job =Job.getInstance(conf,"第2题，1");//创建job，获取  一个单例，配置文件为(”第2题，1)！！！切记一定要在构建job类对象时将上述工具类中返回的configuration传入,否则远程连接不起作用
       job.setJarByClass(Demo1_1.class);

//设置运行主类为demo1—1的类//

       //3)自定义Mapper进行输出参数(key,value)的配置
       job.setMapperClass(CustomMapper.class);

//接收Mapper的类//
job.setMapOutputKeyClass(Text.class);
//接收Text的输出键类//
job.setMapOutputValueClass(Text.class);
//接收Text的输出值类//

       //4)自定义Reducer进行参数的配置
       job.setReducerClass(CustomReducer.class);

//接收customerreduce类参数，()以键，值的形式输出）//
job.setOutputKeyClass(Text.class);//接收Text类的键//
job.setOutputValueClass(NullWritable.class); //NullWritable是一个不可变的单实例类型，设置为此为保证不读入别的键值//

       //5)配置处理的文件的路径(input)以及处理结果存放的路径(output)
       FileInputFormat.addInputPath(job,new Path("d_in/data_2.txt"));
       FileOutputFormat.setOutputPath(job,new Path("d_out/data2_1.1"));
       //6)让程序执行
       boolean result=job.waitForCompletion(true);//程序完成，输出布尔型结果，真或假//
       if(result){
           System.out.println("执行正确！！！");//如果结果为真，输出“执行正确”//
       }else{
           System.out.println("执行失败.....");    }

//不为真，输出“执行失败”//
}catch(Exception ex){
System.out.println(“执行出错:”+ex.getMessage());//如果程序异常，则提醒"执行出错:"//
ex.printStackTrace();//返回函数重新打印获取信息//
}

}

}