Map-Reduce数据分析之一（实例1提取数据）

最新推荐文章于 2023-04-06 20:37:51 发布

阳光总是那么灿烂

最新推荐文章于 2023-04-06 20:37:51 发布

阅读量1.4k

点赞数 1

分类专栏： Hadoop

本文链接：https://blog.csdn.net/he_xiang_/article/details/41006569

版权

这篇博客介绍了一个Map-Reduce程序实例，用于从路由器使用信息中提取日期、时间和MAC地址。通过在Ubuntu上运行Eclipse并连接Hadoop进程，创建Map/Reduce工程，编写并运行代码，最终在HDFS上观察输出结果。运行过程包括设置输入输出路径、确保output文件夹清空以及测试数据位于input文件夹下。

摘要由CSDN通过智能技术生成

实例要求：给出一个文档，文档内容为类似Apr 23 11:49:54 hostapd:wlan0: STA 14:7d:c5:9e:fb:84的路由器使用信息;

要求提取出其中的日期，时间，路由器的MAC（Apr 23 11:49:54 14:7d:c5:9e:fb:84）。

代码如下：

该程序中只有map，没有reduce。因为只需要划分出文本输出即可，不需要汇总。

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.MapReduceBase;
import org.apache.hadoop.mapred.TextOutputFormat;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.OutputFormat;
import org.apache.hadoop.mapreduce.Re