qq_38332574的博客

MapReduce原理可以用一个成语概括“分而治之”，Map端主要进行数据转换、清洗，Reduce端进行具体的计算。官方描述的过程如下所示。所有的数据都是存储在hdfs上，是一个个的block块。Map端输入block数据块，经过...

mapreduce功能强大，可以处理大量离线数据。业务场景是要统计每个订单中数量情况，并将对应的商品id抽取出来。数据格式为.csv文件，类型如下所示：order_id,product_id,add_to_cart_order,reordered1,49302,1,11,11109,2,11,10246,3,01,49683,4,01,43633,5,11,13176,6,01,47...