MapReduce实现join算法
马克-to-win @ 马克java社区:需求:
订单表:(order)
订单号(id),产品号(pid),数量(number)
1,p2,2
2,p3,3
2,p4,1
2,p5,4
3,p1,5
1,p1,3
产品表:(product)
产品号(id),产品名(pname),价格(price)
p1,java,11
p2,c,22
p3,c#,33
p4,python,44
p5,js,66
马克-to-win @ 马克java社区:防盗版实名手机尾号:73203。现在数量巨大,且数据都在文本文件中,所以过去的sql不能用。 我们用大数据方法实现,
select o.id order_id, o.number, p.id , p.pname, p.price number*price sum from order o join product p on o.pid = p.id
更多请见:https://blog.csdn.net/qq_44594249/article/details/96597408
MapReduce实现join算法
最新推荐文章于 2021-08-30 21:06:57 发布
本文介绍了如何在大数据场景下,利用MapReduce处理两个大规模文本文件(订单表和产品表)的join操作。通过MapReduce的分治思想,将SQL的join转换为并行计算的过程,以解决传统SQL无法应对的大量数据问题。示例展示了具体的订单和产品数据,以及最终的join查询结果。详细内容可参阅:https://blog.csdn.net/qq_44594249/article/details/96597408。
摘要由CSDN通过智能技术生成