数据流中的中位数

 

题目:如何得到一个数据流中的中位数?如果从数据流中读出奇数个数值,那么中位数就是所有数值排序之后位于中间的数值。如果从数据流中读出偶数个数值,那么中位数就是所有数值排序之后中间两个数的平均值。我们使用Insert()方法读取数据流,使用GetMedian()方法获取当前读取数据的中位数。

分析:使用优先级队列将数据构建大堆(左边),小堆(右边),并且大堆中的所有数据都要小于小堆中的数据,并且两个堆中的数据一样,支撑这个过程的方法是奇数个数据时先入右边,然后将右边的top()入到左边,当数据时偶数个时,先入左边,再将左边的top()入到右边,这样既保证了右边的所有数据都大于左边的,又保证了数据平分左右两边,还保证了左边是大堆,右边是小堆。这样取中位数时,当此时数据有奇数个时,取左边的堆顶(因为第一次起始是先入到左边的),当数据个数是偶数时,就取两个堆顶的平均数。

//数据成员
    priority_queue<int, vector<int>, less<int>> left;//左边的大堆
    priority_queue<int, vector<int>, greater<int>> right;//右边的小堆
    int count=0;//数据的个数
    
    void Insert(int num)
    {
        count++;
        
        if(count%2==0)//偶数个数据
        {
            left.push(num);
            right.push(left.top());
            left.pop();
        }
        else//奇数个数据
        {
            right.push(num);
            left.push(right.top());
            right.pop();
        }
    }

    double GetMedian()
    { 
        if((count&1)==1)//奇数个
        {
            return left.top();
        }
        else
        {
            return (left.top()+right.top())/2.0;
        }
    }

 

计算数据流中位数可以通过Flink的ProcessFunction来实现。 具体实现步骤如下: 1. 将数据流按照大小排序 2. 计算数据流的长度,如果是奇数,则中位数为第 (length+1)/2 个元素;如果是偶数,则中位数为第length/2个元素和第(length/2+1)个元素的平均值。 3. 在ProcessFunction的实现,可以使用状态变量来保存数据流的有序列表,并计算中位数。 以下是一个简单的示例代码: ```java public class MedianFunction extends ProcessFunction<Integer, Double> { private ListState<Integer> values; @Override public void open(Configuration parameters) throws Exception { super.open(parameters); values = getRuntimeContext().getListState(new ListStateDescriptor<Integer>("values", Integer.class)); } @Override public void processElement(Integer value, Context ctx, Collector<Double> out) throws Exception { values.add(value); List<Integer> sortedValues = new ArrayList<>(); for (Integer v : values.get()) { sortedValues.add(v); } Collections.sort(sortedValues); int length = sortedValues.size(); if (length % 2 == 0) { double median = (sortedValues.get(length/2) + sortedValues.get(length/2 - 1)) / 2.0; out.collect(median); } else { double median = sortedValues.get(length/2); out.collect(median); } } } ``` 在上述代码,我们使用了ListState来保存数据流的元素,并在每次处理新元素时重新排序并计算中位数。注意,这只是一个简单的示例,实际应用需要考虑更多的问题,比如数据倾斜、数据丢失等。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值