【Hadoop基础教程】6、Hadoop之单表关联查询

最新推荐文章于 2023-02-13 00:07:33 发布

andie_guo

最新推荐文章于 2023-02-13 00:07:33 发布

阅读量3.8k

点赞数 1

分类专栏： hadoop Hadoop基础教程文章标签： hadoop 教程大数据

本文链接：https://blog.csdn.net/andie_guo/article/details/44056041

版权

本教程详细讲解如何在Hadoop环境中进行单表关联查询。通过输入数据的child和parent字段，推导出用户间的grandparent关系。在Map阶段，数据被处理并输出，而在Reduce阶段，进行笛卡尔积运算以找出child与grandparent的连接。文章涵盖了从开发环境设置到部署运行的全过程。

摘要由CSDN通过智能技术生成

本blog主要通过输入文件中的child字段和parent字段进行单表关联查询，推导出哪些用户具有child与grandparent关系。

开发环境

硬件环境：Centos 6.5 服务器4台（一台为Master节点，三台为Slave节点）
软件环境：Java 1.7.0_45、hadoop-1.2.1

1、输入数据分析

输入文件数据示例：

child parent
Tom Jack 
Jack Alice
Jack Jesse

第1列表示child，第2列表示parent，我们需要根据child和parent的关系得出child和grantparent的关系。比如说Tom的parent是Jack，Jack的parent是Alice和Jesse，由此我们可以得出Tom的grantparent是{Alice，Jesse}。

2、 Map过程

首先使用默认的TextInputFormat类对输入文件进行处理，得到文本中每行的偏移量及其内容。Map过程首先将输入分割成child和parent，然后正序输出一次作为右表，反序输出一次作为左表，需要注意的是在输出的value中必须加上左右表区别标志，其中左表标识符为1，右表标识符为2，如图所示。

Map过程

Map端核心代码实现如下，详细源码请参考：SingletonTableJoin\src\com\zonesion\tablejoin\SingletonTableJoin.java。

@Override
protected void map(Object key, Text value, Context context)
        throws IOException, InterruptedException {
    String childName = new String();
    String parentName = new String();
    String relationType = new String();
    String line = value.toString();
    String[] values = line.split(" ");
    if(values.length >= 2){
        if(values[0].compareTo("child") != 0){
            childName = values[0];
            parentName = values[1];
            relationType = "1";
            context.write(new Text(parentName), new Text(relationType+" "+childName));//<"Lucy","1 Tom">
            relationType = "2";
            context.write(new Text(childName), new Text(rela