hadoop-python——实现表与表的左连接

最新推荐文章于 2024-01-18 12:00:00 发布

pat_datamine

最新推荐文章于 2024-01-18 12:00:00 发布

阅读量1.1k

点赞数

分类专栏： MapReduce编程(python)

本文链接：https://blog.csdn.net/pat_datamine/article/details/42492643

版权

本文介绍了如何使用Python在Hadoop环境中实现两个表的左连接操作。通过提供具体的map函数代码示例，展示了处理HDFS中分布式存储的文本数据，确保每行数据格式的一致性，以完成表之间的连接查询。

摘要由CSDN通过智能技术生成

map函数如下：

import sys  
  
for line in sys.stdin:

       line = line.strip()  

       words = line.split()  

       print '%s %s 1' % (words[0],words[1] )
       print '%s %s 2' % (words[1],words[0] )

reduce函数如下：

#!/usr/bin/env python  

import sys  
  
word_1=[]
word_2=[]
i=1
  
print 'grandChild grandParent'

def printf(word_1,word_2):
    if (len(word_1)!=0) and (len(word_2)!=0):
        for i in range(len(word_1)):
            for j in range(len(word_2)):
                print '%s %s'%(word_2[j][1],word_1[i][1])


for line in sys.stdin:  
    line = line.strip()
    words=line.split()
    if i==1:
        word_temp=words[0]
    if words[0]==word_temp:
        if words[2]=='1':
            word_1.append(words)
        else:
            word