ClickHouse 的 Permutation

凡是涉及到排序，就能看到一个概念：Permutation（排列）。本文探究一下这个概念背后的实现。

这个概念大家一定熟悉：Permutation and Combination，排列组合。

Permutation

Permutation 是排序的产物，是排序结果的索引。Permutation 是一个长度为 limit 的 PodArray, 它标识了根据排序列排序之后的排序位置。

getPermutation 一个简化的实现：

template <typename T>
void ColumnVector<T>::getPermutation(
    bool reverse,
    size_t limit, 
    int nan_direction_hint, 
    IColumn::Permutation & perm) const
{
	std::partial_sort(
		perm.begin(),
		perm.begin() + limit,
		perm.end(),
		greater(*this, nan_direction_hint));
}       

permute 函数

通过 getPermutation 做好排序后，仅仅是逻辑上有序了，原始的数据还是无序的。为了便于后继操作，需要让数据在物理上有序。按照这个 perm 规则利用 permute 函数生成新的列，就是排序已经完成的物理有序列了。

早期版本的实现：

ColumnPtr ColumnVector<T>::permute(const IColumn::Permutation & perm, size_t limit) const
{
    typename Self::Container & res_data = res->getData();
    for (size_t i = 0; i < limit; ++i)
        res_data[i] = data[perm[i]];

    return res;
}

最新版本的实现： 根据 limit 创建了一个 Container，然后将 perm 中的前 limit 个值整理拷贝出来，写入到 Container 中。

template <typename T>
ColumnPtr ColumnVector<T>::permute(const IColumn::Permutation & perm, size_t limit) const
{
    return permuteImpl(*this, perm, limit);
}
template <typename Column>
ColumnPtr permuteImpl(const Column & column, const IColumn::Permutation & perm, size_t limit)
{
    limit = getLimitForPermutation(column.size(), perm.size(), limit);
    return column.indexImpl(perm, limit);
}

template <typename T>
template <typename Type>
ColumnPtr ColumnVector<T>::indexImpl(const PaddedPODArray<Type> & indexes, size_t limit) const
{
    assert(limit <= indexes.size());

    auto res = this->create(limit);
    typename Self::Container & res_data = res->getData();
    TargetSpecific::Default::vectorIndexImpl<Container, Type>(data, indexes, limit, res_data);

    return res;
}

template <typename Container, typename Type>
inline void vectorIndexImpl(const Container & data, const PaddedPODArray<Type> & indexes, size_t limit, Container & res_data)
{
    for (size_t i = 0; i < limit; ++i)
        res_data[i] = data[indexes[i]];
}

思考：为什么要引入 Permutation 呢？直接对原始数据排好序不就行了，引入中间状态有什么好处？

个人猜测：避免频繁移动原始值，仅仅在所有列都排好序之后才统一整理（permute）原始值。

CK 的多列排序比较有意思：它假设第一列大概率不相等，这时候只需要比较第一列即可。如果第一列有很多等值元素，那么他就把这些等值元素单独拎出来组成很多 ranges，然后对这些 ranges 内的值再排序。