MapReduce当中排序sort的方法

排序sort:

防盗版实名手机尾号:73203。注意:想自己实现Sort得不偿失,但如想借助Hadoop MapReduce技术框架排序,key必须实现WritableComparable接口。具体做法见下。需求是先按id比,再按amount比。
package com;
import org.apache.hadoop.io.WritableComparable;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
public class OrderBeanSort implements WritableComparable<OrderBeanSort>{
    private String orderId;
    private Double amount;
    private Double average=0.0;
    public Double getAverage() {
        return average;
    }
    public void setAverage(Double average) {
        this.average = average;
    }
    public OrderBeanSort() {
    }

    public OrderBeanSort(String orderId, Double amount) {
        this.orderId = orderId;
        this.amount = amount;
    }
    public void set(String orderId, Double amount) {
        this.orderId = orderId;
        this.amount = amount;
    }
    public String getOrderId() {
        return orderId;
    }

    public void setOrderId(String orderId) {
        this.orderId = orderId;
    }

    public Double getAmount() {
        return amount;
    }

    public void setAmount(Double amount) {
        this.amount = amount;
    }

    public void write(DataOutput out) throws IOException {
        out.writeUTF(orderId);
        out.writeDouble(amount);
        out.writeDouble(average);
    }

  更多请见:http://www.mark-to-win.com/tutorial/mydb_MapReduce_Sort.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Python中使用MapReduce进行数据排序可以通过以下步骤实现: 1. 首先,需要定义一个Map函数和一个Reduce函数。Map函数用于将数据分成小的键值对,而Reduce函数用于对这些小的键值对进行合并和排序。 2. 在Map函数中,将输入数据切分成小的键值对。对于排序,可以将每个输入元素作为键,并将其值设置为None。 ```python def map_function(data): key = data value = None yield key, value ``` 3. 在Reduce函数中,对收到的键值对进行合并和排序。可以使用Python的sorted函数对键进行排序。 ```python def reduce_function(key, values): sorted_values = sorted(values) yield key, sorted_values ``` 4. 接下来,使用Python的map和reduce函数来应用MapReduce操作。首先,使用map函数将输入数据转换为键值对列表。然后,使用reduce函数对这些键值对进行合并和排序。 ```python from itertools import groupby from operator import itemgetter def map_reduce_sort(data): mapped_data = map(map_function, data) sorted_data = sorted(mapped_data, key=itemgetter(0)) grouped_data = groupby(sorted_data, key=itemgetter(0)) reduced_data = [(key, [value for _, value in values]) for key, values in grouped_data] result = [] for key, values in reduced_data: result.extend(reduce_function(key, values)) return result ``` 5. 最后,调用map_reduce_sort函数并传入输入数据来执行MapReduce排序。 ```python input_data = [5, 2, 8, 3, 1] sorted_result = map_reduce_sort(input_data) print(sorted_result) ``` 这是一个简单的示例,实际情况中可以根据具体需求进行调整和优化。希望对你有所帮助!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值