Hadoop MapReduce纵表转横表与横表转纵表

最新推荐文章于 2023-09-18 21:22:12 发布

sanfendi

最新推荐文章于 2023-09-18 21:22:12 发布

阅读量3.2k

点赞数

分类专栏： hadoop 文章标签： hadoop mapreduce 纵表转横表

本文链接：https://blog.csdn.net/laozhaokun/article/details/38794283

版权

本文介绍了如何使用Hadoop MapReduce进行数据的纵表转横表和横表转纵表操作。在处理Hive表数据时，通过自定义MapReduce任务可以轻松实现这种转换，为数据分析提供便利。

摘要由CSDN通过智能技术生成

输入数据如下：以\t分隔

<span style="font-size:18px;">0-3岁育儿百科 书        23
0-5v液位传感器  5
0-5轴承 2
0-6个月奶粉     23
0-6个月奶粉c2c报告      23
0-6个月奶粉在线购物排名 23
0-6个月奶粉市场前景     23
0-6个月配方奶粉 23
0.001g电子天平  5
0.01t化铝炉     2
0.01吨熔铝合金炉        2
0.03吨化镁炉    25
0.03吨电磁炉    11
</span>

其中左侧是搜索词，右侧是类别，可看成是数据库中的纵表，现需要将输入转成横表，即类名\t语句1\t语句2...，这样的格式。

MapReduce最适合做这样的事情了。因为经常用到，记录一下。Hive表中的数据要转成横表的时候，单独写个MR来处理就很方便了。

<span style="font-size:18px;">package seg;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop