iceberg系列：源码- BinPacking 解读

九剑问天

已于 2022-02-23 15:56:17 修改

阅读量1.2k

点赞数 1

分类专栏：数据湖 iceberg 大数据文章标签： iceberg 大数据数据湖源码

于 2022-02-21 17:33:05 首次发布

本文链接：https://blog.csdn.net/liliwei0213/article/details/123050252

版权

大数据同时被 3 个专栏收录

26 篇文章 1 订阅

订阅专栏

数据湖

10 篇文章 1 订阅

订阅专栏

iceberg

6 篇文章 1 订阅

订阅专栏

在Iceberg中，有一个名为BinPacking的类，这个类在manifest文件和规划切分时使用频繁。
我们这一章来解读此类。
首先说明这个类的作用，顾名思义，这个类主要用来根据指定算法处理装箱问题，在并发或分布式处理方面起作用。如果各位同学经常刷算法题，应该会遇到一类叫装箱问题的题目，其中较为典型的一种是：把一定数量的物品放入容量相同的一些箱子中,使得每个箱子中的物品大小之和不超过箱子容量并使所用的箱子数目最少。BinPacking类便是做类似的事情。
既然是装箱问题，那首先肯定要有一个箱（bin），在这里也一样，BinPacking有一个私有的静态内部泛型类，名为Bin<T>，主要有三个成员变量：箱重量上限，箱内物品的集合，已装入物品的重量和。
有了箱子，我们来看一下这个装箱类是如何工作的，首先我们查看其构造函数：

    public ListPacker(long targetWeight, int lookback, boolean largestBinFirst) {
      this.targetWeight = targetWeight;
      this.lookback = lookback;
      this.largestBinFirst = largestBinFirst;
    }

在前期主要有两个：targetWeight和lookback，largestBinFirst是后期添加的。
targetWeight是目标大小，lookback是指要考虑的箱数量。当添加超过箱数量的新bin时，最早的箱将被释放。
largestBinFirst是后期添加的参数，当此值为true时，最大的箱将被优先释放。

再来看一下其两个方法：

    public List<List<T>> pack(Iterable<T> items, Function<T, Long> weightFunc) {
      return ImmutableList.copyOf(new PackingIterable<>(items, targetWeight, lookback, weightFunc, largestBinFirst));
    }

    public List<List<T>> packEnd(List<T> items, Function<T, Long> weightFunc) {
      return Lists.reverse(ImmutableList.copyOf(Iterables.transform(
          new PackingIterable<>(Lists.reverse(items), targetWeight, lookback, weightFunc, largestBinFirst),
          Lists::reverse)));
    }

items：要装箱的物品
weightFunc：物品重量的计算函数，用于计算机每个物品的重量。

上述这两个方法便是主要使用的类了，其中pack里面使用了Iterable进行懒加载，可以有效降低系统的资源占用于网络传输，这在iceberg的源码中非常常见，不熟悉Iterable的同学可以跳回到这个类的初始版本源码。
可以看到packEnd相对于pack而言，将items进行了反转，即将要装载入箱的条目进行了反转，其它部分是相同的。
这两个方法，同时使用了一个内部类：PackingIterable，这个内部类是其功能实现的主要载体，我们来看一下。

    public PackingIterable(Iterable<T> iterable, long targetWeight, int lookback,
                           Function<T, Long> weightFunc, boolean largestBinFirst) {
      Preconditions.checkArgument(lookback > 0,
          "Bin look-back size must be greater than 0: %s", lookback);
      this.iterable = iterable;
      this.targetWeight = targetWeight;
      this.lookback = lookback;
      this.weightFunc = weightFunc;
      this.largestBinFirst = largestBinFirst;
    }

解释一下方法签名函数：

iterable：要遍历的箱内物品主体
targetWeight：箱的大小
lookback：箱的数量
weightFunc：计算要放入箱内物品的重量的方法
largestBinFirst：是否优先返回最重的箱子

我们知道，对于Iterable而言，最重要的莫过于iterator（即迭代器）了，这里当真正遍历数据进行运算时，使用的是如下方法iterator：

    @Override
    public Iterator<List<T>> iterator() {
      return new PackingIterator<>(iterable.iterator(), targetWeight, lookback, weightFunc, largestBinFirst);
    }

可以看到，使用的是PackingIterator，所以我们继续深入查看PackingIterator吧。
PackingIterator的构造函数与上述类似，如下：

    private PackingIterator(Iterator<T> items, long targetWeight, int lookback,
                            Function<T, Long> weightFunc, boolean largestBinFirst) {
      this.items = items;
      this.targetWeight = targetWeight;
      this.lookback = lookback;
      this.weightFunc = weightFunc;
      this.largestBinFirst = largestBinFirst;
    }