从GoogleMap的金字塔模型到无限级索引数据结构(三)

这一节阐述了怎样复用空闲的文件存储区。

 

曾经有一段时间遇到这么一个需求:已下载的Google地图在用户看来不够详细，很多标注点没有，或者有的路已经不存在了却在地图上仍然显示着，有些最近刚新建的建筑在地图上没有体现出来，诸多原因引出了最终的结果，这些不准确的地图信息必须被修正。 也就是说，要在现有地图的基础上进行修改或者替换。当时我是这么解决这个问题的：当客户提出一些地图数据不准确的时候，我会要求客户提供当地的测绘数据，拿到这些数据之后，使用程序按照Google地图的样式进行绘制，然后切块，将这些数据替换到地图包中去。由此就产生了一个问题，原本存储这些地图数据的区块变成了没有索引指向的区块，当需要修改的地图区域比较大的时候，这种区块就会大量产生，并且作为一个没有用的空间占用着磁盘导致数据文件臃肿无比，从内存管理的角度上来讲这是一块应该被复用的存储区。

 

复用这些存储区的思路很简单，每次在修改一块地图块的时候，将这些存储区记录下来，当下次有地图块需要写入的时候优先从已记录的空闲存储区中查找符合大小的存储区，如果没有的话就将数据写到文件末尾，否则使用这个存储区。

 

设计一个空闲空间管理器，这个管理器应该有如下特点：

1.能够快速找到一个大于或者等于指定大小的空闲空间

2.当取出一个空闲区域使用时，被截断的那一部分应该还是被标记为未使用

3.当新加入一个空闲区域时，应该自动和已有的空闲区域融合

 

 

为了能够快速找到符合大小的空闲区域，只要一个按照大小有序的空闲空间列表即可，然后使用二分查找法查找。

取出一个空闲区域使用时，我们只要重新把被截断的那部分空间重新加入空闲列表就可以满足第二点

自动融合新加入的空闲区域的意为：当新加入的空闲区域和已有的空闲区域连续的时候，应该自动合并这两个空闲区域，并且重新调整列表。

 

/// <summary> /// 按照空间位置排序的空闲列表，该列表只有在添加空闲空间时才会作出改变,并且元素和Frees_Size是一样的，但是顺序不一样 /// </summary> public readonly List<Range> Frees_Position = new List<Range>(); /// <summary> /// 按照空间大小进行排序的空闲列表，该列表只有在添加空闲空间时才会作出改变,并且元素和Frees_Position是一样的，但是顺序不一样 /// </summary> public readonly List<Range> Frees_Size = new List<Range>(); public void UnsafeAddRange(Range freeItem) { if (freeItem.Start >= freeItem.End) return; if (Frees_Position.Count > 0) { retest: //找到第一个起始位置比目标对象要大或者等于的元素 long index = SMath.BinarySearch(Frees_Position, (source, position, target) => { Range cur = source[(int)position]; if (cur.End == target.Start) return SentenceResult.Equal; if (cur.Start == target.End) return SentenceResult.Equal; if (cur.Start > target.Start) return SentenceResult.More; if (cur.Start < target.Start) return SentenceResult.Less; return SentenceResult.Equal; }, freeItem, 1, 0, Frees_Position.Count,false); Range item = null; //如果所找到的位置在集合中间 if (index >= 0 && index < Frees_Position.Count)//&& Frees_Position[index].Start == freeItem.End) { //重新检测标志 bool preItemTested = false; testPreItem: item = Frees_Position[(int)index]; //如果所需要添加的空闲块已经被包含了，那么就直接退出 if (item.Start <= freeItem.Start && item.End >= freeItem.End) return; //已知的空间被需要添加的空间包含，那么直接剔除掉原有的空间，并且重新检测 if (item.Start > freeItem.Start && item.End < freeItem.End) { Frees_Size.Remove(item); Frees_Position.Remove(item); goto retest; } //已知的空间和需要添加的空间首尾相连，剔除掉原有的空间，合并之后重新检测 if (item.Start == freeItem.End || (item.Start > freeItem.Start && item.Start < freeItem.End && item.End > freeItem.End)) { item.Start = freeItem.Start; Frees_Size.Remove(item); Frees_Position.Remove(item); freeItem = item; goto retest; } //或者尾首相连 if (item.End == freeItem.Start || (freeItem.Start > item.Start && freeItem.Start < item.End && freeItem.End > item.End)) { item.End = freeItem.End; Frees_Size.Remove(item); Frees_Position.Remove(item); freeItem = item; goto retest; } //如果不满足以上的所有条件（即需要插入的空闲块和插入位置后面的那个空闲块没有交集），那么检测前一个空闲块和当前需要插入的空闲块的关系 if (!preItemTested) { preItemTested = true; if (index > 0) { index--; goto testPreItem; } else { //如果前后两个空闲块都检测过没有交集的时候，直接插入列表 Frees_Position.Insert((int)index, freeItem); item = freeItem; } } else { index++; Frees_Position.Insert((int)index, freeItem); item = freeItem; } } //否则直接插入 else { if (index == long.MinValue) Frees_Position.Insert(0, freeItem); else Frees_Position.Add(freeItem); item = freeItem; } //找到大小最相近的元素项,更新按照大小排序的列表 index = SMath.BinarySearch(Frees_Size, (source, position, target) => { Range cur = source[(int)position]; if (cur.Size > target.Size) return SentenceResult.More; else if (cur.Size < target.Size) return SentenceResult.Less; return SentenceResult.Equal; }, item, 1, 0, Frees_Size.Count,false); if (index >= 0 && index < Frees_Size.Count) { if (Frees_Size[(int)index].Size > item.Size) Frees_Size.Insert((int)index, item); else Frees_Size.Insert((int)index + 1, item); } else { if (index == long.MinValue) Frees_Size.Insert(0, item); else Frees_Size.Add(item); } OnRangeModifired(item); } else { Frees_Position.Add(freeItem); Frees_Size.Add(freeItem); OnRangeModifired(freeItem); } }

 

一个通用的二分查找算法

 

/// <summary> /// 在二分查找法中，指定判别方法的委托，该方法判别当前所指向的位置的数据和目标数据的大小关系, 例如:Position位置的数据大于目标值，则返回More，如果相等则返回Equal，否则返回Less /// </summary> public delegate SentenceResult StreamBinarySearchSentenceHandler<TTarget, TSource>(TSource stream, long position, TTarget value); /// <summary> /// 表示对两个值大小的判别结果, /// More表示 Left > Right, /// </summary> public enum SentenceResult { /// <summary> /// 大于 即: Left > Right /// </summary> More = 1, /// <summary> /// 等于 即: Left == Right /// </summary> Equal = 0, /// <summary> /// 小于 即: Left < Right /// </summary> Less = -1, } /// <summary> /// 找到大于等于Value值的位置,如果目标元素大于所有集合对象，则返回long.MaxValue,如果目标元素小于所有集合对象，则返回long.MinValue /// </summary> /// <typeparam name="TTarget">输入：需要查找的目标类型</typeparam> /// <typeparam name="TSource">输入：需要进行查找的数据集类型</typeparam> /// <param name="source">需要进行查找的数据集</param> /// <param name="SentenceMethod">判别方法,该方法是由三个参数构成的：source,position,value 分别为源，位置偏移和值</param> /// <param name="value">需要查找的目标</param> /// <param name="stride">给定的目标在数据集中的单元大小，查找过程中，该值用于二分跳转</param> /// <param name="startPos">开始查找的位置</param> /// <param name="endPos">结束查找的位置</param> /// <param name="outOfRangeInvalidate">true ＝ 标识当所要查找的对象超过给定的数据源界限时，标记为无效,即返回long.MinValue</param> /// <param name="equalMoveEnd">true=当找到所给定的目标值相等的元素时，是否将返回的位置移动到其后面</param> /// <returns></returns> public static long BinarySearch<TTarget, TSource>(TSource source, StreamBinarySearchSentenceHandler<TTarget, TSource> SentenceMethod, TTarget value, int stride, long startPos, long endPos,bool equalMoveEnd) { if ((endPos - startPos) % stride != 0) throw new ArgumentException("传入的参数可能有误，结束位置和起始位置的差不能被数据元整除!"); if (endPos - startPos < stride) { return long.MinValue; } //如果开始位置的数据大于等于目标数据，说明所需要查询的数据不在指定的区域范围内，直接返回最前面的数据 SentenceResult res = SentenceMethod(source, startPos, value); if (res == SentenceResult.Equal) { if (equalMoveEnd) return startPos + stride; else return startPos; } if (res == SentenceResult.More) return long.MinValue; //如果结束位置的数据小于等于目标数据，说明所需要查询的数据不在指定的区域范围内，直接返回最后面的数据 res = SentenceMethod(source, endPos - stride, value); if (res == SentenceResult.Equal) { if (equalMoveEnd) return endPos; else return endPos - stride; } if (res == SentenceResult.Less) return long.MaxValue; long subtract = endPos - startPos; long middle = startPos; while (subtract > stride) { subtract = subtract / 2 / stride * stride; middle = startPos + subtract; //stream.Position = middle; res = SentenceMethod(source, middle, value); if (res == SentenceResult.Equal) { if (equalMoveEnd) return middle + stride; else return middle; } if (res == SentenceResult.Less) { startPos = middle; } else { endPos = middle; } subtract = endPos - startPos; } if (res == SentenceResult.More) return middle; else if (res == SentenceResult.Less) return middle + stride; else { if (equalMoveEnd) return middle + stride; else return middle; } }