题目
通过Java编写MapReduce程序,过滤输入的log日志中是否包含atguigu和sina
(1)包含atguigu的网站输出到/opt/sx/java/log/atguigu.log
(2)不包含atguigu而包含sina的网站输出到/opt/sx/java/log/sina.log;
(3)其他的网站输出到/opt/sx/java/log/other.log。
本题声明:
1.采用Linux系统
2.已搭建好的hadoop集群
3.使用java编写MapReduce程序
题目分析:
1.编写MapReduce程序
2.hadoop调用MapReduce程序的数据源要上传至集群当中
一、首先将该题的数据源上传至集群
我已经将数据源复制到了Linux系统当中
数据源文件内容为:
(1)在集群创建空目录,用于存放该题的数据源文件
命名:hadoop fs -mkdir -p /zs/java/input/input9/
集群中的空目录创建成功
(2)将该题的数据源上传至创建的空目录中
(就在该数据源的文件夹内使用hadoop命名)
命名:
hadoop fs -put log.txt /zs/java/input/input9/
数据源文件上传成功
这道题的数据源已经上传成功了,接下来就是编写MapReduce程序
二、创建java项目编写MapReduce程序
(1)创建java项目并导入连接hadoop的jar包
我创建的是一个名为Nine的java项目(项目名可自行设置)
为该项目导入连接hadoop的jar包
File --> Project Structure --> Modules --> Dependencies
选择右边的+号点击:JARs or directories,找到已准备好的lib包并选中点击ok
(没有lib包的联系我,我发给你,lib包一般存放在 “ /opt/software/ ” 下)
(2)使用java编写MapReduce程序
这道题的MapReduce程序包含以下几个类:Driver、Mapper、OutputFormat、RecordWriter、Reducer
定义一个FilterDriver.java类
代码如下:
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class FilterDriver {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf);
job.setJarByClass(FilterDriver.class);
job.setMapperClass(FilterMapper.class);
job.setReducerClass(FilterReducer.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(NullWritable.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(NullWritable.class);
// 要将自定义的输出格式组件设置到job中
job.setOutputFormatClass(FilterOutputFormat.class);
FileInputFormat.setInputPaths(job, new Path(args[0]));
// 虽然我们自定义了outputformat,但是因为我们的outputformat继承自fileoutputformat
// 而fileoutputformat要输出一个_SUCCESS文件,所以,在这还得指定一个输出目录
FileOutputFormat.setOutputPath(job, new Path(args[1]));
boolean result = job.waitForCompletion(true);
System.exit(result ? 0 : 1);
}
}
定义一个FilterMapper.java类
代码如下:
import java.io.IOException;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
public class FilterMapper extends Mapper<LongWritable, Text, Text, NullWritable>{
Text k = new Text();
@Override
protected void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
// 1 获取一行
String line = value.toString();
k.set(line);
// 3 写出
context.write(k, NullWritable.get());
}
}
定义一个FilterOutputFormat.java类
代码如下:
import java.io.IOException;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.RecordWriter;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class FilterOutputFormat extends FileOutputFormat<Text, NullWritable>{
@Override
public RecordWriter<Text, NullWritable> getRecordWriter(TaskAttemptContext job)
throws IOException, InterruptedException {
// 创建一个RecordWriter
return new FilterRecordWriter(job);
}
}
定义一个FilterRecordWriter.java类
代码如下:
import java.io.IOException;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.RecordWriter;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
public class FilterRecordWriter extends RecordWriter<Text, NullWritable> {
FSDataOutputStream atguiguOut = null;
FSDataOutputStream sinaOut = null;
FSDataOutputStream otherOut = null;
public FilterRecordWriter(TaskAttemptContext job) {
// 1 获取文件系统
FileSystem fs;
try {
fs = FileSystem.get(job.getConfiguration());
// 2 创建输出文件路径
Path atguiguPath = new Path("/opt/sx/java/log/atguigu.log");
Path sinaPath = new Path("/opt/sx/java/log/sina.log");
Path otherPath = new Path("/opt/sx/java/log/other.log");
// 3 创建输出流
atguiguOut = fs.create(atguiguPath);
sinaOut = fs.create(sinaPath);
otherOut = fs.create(otherPath);
} catch (IOException e) {
e.printStackTrace();
}
}
@Override
public void write(Text key, NullWritable value) throws IOException, InterruptedException {
// 判断是否包含“atguigu”输出到不同文件
if (key.toString().contains("atguigu")) {
atguiguOut.write(key.toString().getBytes());
} else if (key.toString().contains("sina")){
sinaOut.write(key.toString().getBytes());
}else {
otherOut.write(key.toString().getBytes());
}
}
@Override
public void close(TaskAttemptContext context) throws IOException, InterruptedException {
// 关闭资源
if (atguiguOut != null) {
atguiguOut.close();
}
if (sinaOut != null){
sinaOut.close();
}
if (otherOut != null) {
otherOut.close();
}
}
}
定义一个FilterReducer.java类
代码如下:
import java.io.IOException;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
public class FilterReducer extends Reducer<Text, NullWritable, Text, NullWritable> {
@Override
protected void reduce(Text key, Iterable<NullWritable> values, Context context)
throws IOException, InterruptedException {
String k = key.toString();
k = k + "\r\n";
context.write(new Text(k), NullWritable.get());
}
}
MapReduce的所有java类已创建成功
三、将编写的MapReduce程序打包并上传至,启动集群的Linux系统中
我这里是:hadoop111,hadoop112
Idea中打包 java程序:
File --> Project Structure --> Artifacts --> + -->JAR --> From modules with dependencies
随后在Main Class中选择 WordcountDriver,随后点击OK
点击Ok后,再点击OK
点击ok后,选择: Build --> Build Artifacts --> Build
然后耐心等待一会
在左侧会自动生成一个out的文件,点击: out —> artifacts —> Nine_ jar
即可查看是否打包成功
打包后在Linux系统中的 /root/ 下面找到 ideaProjects
然后点击 IdeaProjects --> Nine --> out --> artifacts -->Nine_jar
找到已打好的jar包
在该目录下,右击打开终端输入scp命名,将jar包上传至启动集群的hadoop111的Linux系统中"/opt/software/" 文件夹下
SCP 命名:scp Nine.jar root@hadoop111:/opt/software/
查看文件是否传输成功
执行zip命名对该包进行删除两个会使程序出错的文件
ZIP命名:
zip -d Nine.jar META-INF/.RSA META-INF/.SF
就在该目录下使用hadoop调用该包,对集群中的数据源文件进行统计每个订单中最便宜的商品,最后输出到一个文件中
hadoop命名:
hadoop jar Nine.jar /zs/java/input/input9/log.txt /zs/java/output/output9
(/zs/java/input/input9/log.txt 代表的是这道题的数据源,数据源在前面已经上传)
(/zs/java/output/output9 代表hadop调用jar包将数据源文件处理后的文件存放位置)
hadoop调用jar包执行效果为:
(执行结果在集群中查看)
在一级目录下查看,我java代码写的创建在一级目录下