第三节课 hadoop的idea操作

目录

代码流程及其解释

hadoop操作

MapReduce的idea操作

---

代码流程及其解释

FileSystem 提供文件系统的接口，并且是工厂用于访问文件系统中的文件和其他对象的对象。

hadoop配置文件 自动获取hadoop-hdfs的配置文件

Configuration 配置文件 set.("dfs.replication","1");设置副本数为1

URI 配置网络 “hdfs://master:9000”

filesystem.get(uri,conf);

hadoop操作

fs.mkdir(new Path("/"))创建新路径

fs.delete(new Path("/data"),boolean)删除路径，true为迭代删除

fs.listStatus(new Path("/"))获取当前目录下的所有对象文件，返回一个数组

fs.getFileStatus(new Path("/"))返回当前文件

fs.open(new Path("/"))将该文件转化为FSDataInputStream

fs.create(new Path("/"))将该路径设置为一个FSDataOutputStream

fs.copyFromLocalFile(local,hdfs)复制到hdfs

fs.copyToLocalFile(boolean,path,local,boolean)下载

MapReduce的idea操作

1、设置一个静态类继承Mapper

hadoop中默认泛型为偏移量，行数据内容

2、设置一个静态类继承Reducer

3、main方法中配置mapreduce

Job.getInstance初始化job

setJobName 设置job名称

setJarByClass 设置mapreduce执行类

setMapperClass Map端所在的类的位置

setReducerClass Reduce端所在位置

setMapOutputKeyClass 指定Map端k的输出类型

setMapOutputValueClass 指定Map端v的输出类型

指定Reduce端kv输出类型

setOutputKeyClass

setOutputValueClass

指定路径

FileInputFormat.addInputPath(job,input路径)

FileOutputFormat.setOutputPath(job,out路径)

job.waitForCompletion(true)启动