Comparison method violates its general contract!

Brother Zeng遇到的错误：

java.lang.IllegalArgumentException: Comparison method violates its general contract!

网上查到一个解释：

Description: The sorting algorithm used by java.util.Arrays.sort and (indirectly) by java.util.Collections.sort has been replaced. The new sort implementation may throw an IllegalArgumentException if it detects a Comparable that violates the Comparable contract. The previous implementation silently ignored such a situation. If the previous behavior is desired, you can use the new system property, java.util.Arrays.useLegacyMergeSort, to restore previous mergesort behavior.

也就是说jdk 7的sort函数的实现变了，造成了这个问题，具体原因未知。

改一下系统设置，还是选择使用老版本的排序方法，在代码前面加上这么一句话：System.setProperty("java.util.Arrays.useLegacyMergeSort", "true");

背景

16号为了统一线上服务器运行环境，将两台服务器的Tomcat6+JDK6升级到Tomcat7+JDK7，本以为很简单的事情，升级后自己验证也没问题，没想到却悲剧了。升级后，过了半小时运营就找过来反馈问题，部分角色无法登陆系统，由于异常日志没有输出，没有找到问题，无奈回滚。今天我们就来说说JDK6升级到JDK7会遇到的坑。本文为了方便搜索，就直接以异常信息作为文章标题了。

复现

回滚后，到beta环境按照线上的权限配置，复现该问题，加上了error日志输出，输出了文章标题的异常，这个异常是在类似如下代码中抛出的：

[java]  view plain copy print ?

1. Collections.sort(list, new Comparator<Integer>() {  
2.     @Override  
3.     public int compare(Integer o1, Integer o2) {  
4.         return o1 > o2 ? 1 : -1;// 错误的方式  
5.     }  
6. });  

解决方案

先说如何解决，解决方式有两种。

修改代码

上面代码写的本身就有问题，第4行没有考虑o1 == o2的情况，再者说我们不需要自己去比较，修改为如下代码即可：

[java]  view plain copy print ?

1. Collections.sort(list, new Comparator<Integer>() {  
2.     @Override  
3.     public int compare(Integer o1, Integer o2) {  
4.         // return o1 > o2 ? 1 : -1;  
5.         return o1 - o2;// 正确的方式  
6.     }  
7. });  

不修改代码

那么问题来了。为什么上面代码在JDK6中运行无问题，而在JDK7中却会抛异常呢？这是因为JDK7底层的排序算法换了，如果要继续使用JDK6的排序算法，可以在JVM的启动参数中加入如下参数：

[plain]  view plain copy print ?

1. -Djava.util.Arrays.useLegacyMergeSort=true  

这样就会照旧使用JDK6的排序算法，在不能修改代码的情况下，解决这个兼容的问题。

分析

在我以前的认知中，高版本的JDK是可以兼容之前的代码的，与同事讨论了一番另加搜索了一番，事实证明，JDK6到JDK7确实存在兼容问题（不兼容列表）。在不兼容列表中我们可以找到关于Collections.sort的不兼容说明，如下：

[plain]  view plain copy print ?

1. Area: API: Utilities  
2. Synopsis: Updated sort behavior for Arrays and Collections may throw an IllegalArgumentException  
3. Description: The sorting algorithm used by java.util.Arrays.sort and (indirectly) by java.util.Collections.sort has been replaced.   
4. The new sort implementation may throw an IllegalArgumentException if it detects a Comparable that violates the Comparable contract.   
5. The previous implementation silently ignored such a situation.  
6. If the previous behavior is desired, you can use the new system property, java.util.Arrays.useLegacyMergeSort,   
7. to restore previous mergesort behavior.  
8. Nature of Incompatibility: behavioral  
9. RFE: 6804124  

描述的意思是说，java.util.Arrays.sort(java.util.Collections.sort调用的也是此方法)方法中的排序算法在JDK7中已经被替换了。如果违法了比较的约束新的排序算法也许会抛出llegalArgumentException异常。JDK6中的实现则忽略了这种情况。那么比较的约束是什么呢？ 看这里 ，大体如下：

• sgn(compare(x, y)) == -sgn(compare(y, x))
  
• ((compare(x, y)>0) && (compare(y, z)>0)) implies compare(x, z)>0
  
• compare(x, y)==0 implies that sgn(compare(x, z))==sgn(compare(y, z)) for all z

再回过头来看我们开篇有问题的实现：

[java]  view plain copy print ?

1. return x > y ? 1 : -1;  

当x == y时，sgn(compare(x, y))  = -1，-sgn(compare(y, x)) = 1，这违背了sgn(compare(x, y)) == -sgn(compare(y, x))约束，所以在JDK7中抛出了本文标题的异常。

结论

那么现在是否可以盖棺定论了，按照上面的分析来看，使用这种比较方式（return x > y ? 1 : -1;），只要集合或数组中有相同的元素，就会抛出本文标题的异常。实则不然，什么情况下抛出异常，还取决于JDK7底层排序算法的实现，也就是大名鼎鼎的 TimSort。后面文章会分析TimSort。本文给出一个会引发该异常的Case，以便有心人共同研究，如下：

[java]  view plain copy print ?

1. Integer[] array =   
2. {0, 0, 0, 0, 0, 0, 0, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,   
3. 0, 0, 0, 1, 1, 0, 0, 1, 0, 1, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 2, 1, 0, 0, 0, 2, 30, 0, 3};  

图解JDK7的Comparison method violates its general contract异常

目录

[显示]

1.摘要

前一阵遇到了一个使用Collections.sort()时报异常的问题，跟小伙伴@zhuidawugui 一起排查了一下，发现问题的原因是JDK7的排序实现改为了TimSort，之后我们又进一步研究了一下这个神奇的算法。

2.背景

先说一下为什么要研究这个异常，前几天线上服务器发现日志里有偶发的异常：

1 2 3 4 5 6 7 8 9

java . lang . IllegalArgumentException : Comparison method violates its general contract ! at java . util . TimSort . mergeHi ( TimSort . java : 868 )    at java . util . TimSort . mergeAt ( TimSort . java : 485 )    at java . util . TimSort . mergeCollapse ( TimSort . java : 408 ) at java . util . TimSort . sort ( TimSort . java : 214 )    at java . util . TimSort . sort ( TimSort . java : 173 )    at java . util . Arrays . sort ( Arrays . java : 659 )    at java . util . Collections . sort ( Collections . java : 217 ) . . .

出错部分的代码如下：

1 2 3 4 5 6 7

List < Integer > list = getUserIds ( ) ; Collections . sort ( list , new Comparator < Integer > ( ) {      @ Override      public int compare ( Integer o1 , Integer o2 ) {          return o1 > o2 ? 1 : - 1 ;      } } ) ;

google了一下：JDK7中的Collections.Sort方法实现中，如果两个值是相等的，那么compare方法需要返回0，否则可能会在排序时抛错，而JDK6是没有这个限制的。

这个问题在测试时并没有出现，线上也只是小概率复现，如何稳定的复现这个问题？看了一下源代码，抛出异常的那段源代码让人根本摸不着头脑：

1 2 3

if ( len2 == 0 ) {      throw new IllegalArgumentException ( "Comparison method violates its general contract!" ) ; }

为了解开这个困惑，我们对java实现的Timsort代码做了一些分析。

3.Timsort概述

TimSort排序是一种优化的归并排序，它将归并排序(merge sort) 与插入排序(insertion sort) 结合，并进行了一些优化。对于已经部分排序的数组，时间复杂度远低于 O(n log(n))，最好可达 O(n)，对于随机排序的数组，时间复杂度为 O(nlog(n))，平均时间复杂度 O(nlog(n))。

它的整体思路是这样的：

1. 遍历数组，将数组分为若干个升序或降序的片段，（如果是降序片段，反转降序的片段使其变为升序），每个片段称为一个Runtask
2. 从数组中取一个RunTask，将这个RunTask压栈。
3. 取出栈中相邻两个的RunTask，做归并排序，并将结果重新压栈。
4. 重复(2),(3)过程，直到所有数据处理完毕。

这篇文章就不再过多的阐述Timsort整体思路了，有兴趣可以参考[译]理解timsort, 第一部分：适应性归并排序(Adaptive Mergesort)

4.Timsort的归并

重点说一下Timsort中的归并。归并过程相对普通的归并排序做了一定的优化，假如有如下的一段数组：

1. 首先把数组拆成两个RunTask，这里称为A段和B段，注意，A段和B段在物理地址上是连续的：
   

2. A段的起点为base1，剩余元素数量为len1；B段起点为base2，剩余元素数量为len2。取B点的起点值B[base2]，在A段中进行二分查找，将A段中小于等于B[base2]的段作为merge结果的起始部分；再取A段的终点值a[base1 + len1 – 1]，在B段中二分查找，将B段中大于等于a[base1 + len1 – 1]值的段作为结果的结束部分。

   更形象的说，这里把待归并的数据“掐头去尾”，只需要合并中间的数据就可以了：
   

3. 之后需要创建一个tmp数组，大小为B段截取后的大小，并把B段剩余的数据拷贝过去，因为合并过程中这些数据会被覆盖掉。

   程序会记录corsor1和corsor2，这是待归并数据的指针，初始位置在A段和tmp段的末尾。同时会记录合并后数组的dest指针，位置在原B段的末尾。

   这里还有一个小优化：生成dest指针时会直接把A段cursor1指向的数据拷贝到B段末尾，同时cursor–,dest–。因为之前(2)步的时候已经保证了arr[cursor1]>arr[dest]
   

4. 进行归并排序，这里每次归并比较时会记录A和tmp段比较“胜利（大于对方）”的次数，比较失败（小于对方）时会把胜利数清零。当有一个段的数据连续N次胜利时会激活另一个优化策略，在这里假设N为4，下图已经是A段连续胜利了4次的情况：
   

5. 如果连续胜利N次，那么可以假设A段的数据平均大于B段，此时会用tmp[cursor2]的值在A[base0]至A[cursor1]中查找第一个小于tmp[cursor2]的索引k，并把A[k+1]到A[cursor1]的数据直接搬移到A[dest-len,dest]。

   对于例子中的数据，tmp[cursor2]=8，在A数组中查找到小于8的第一个索引（-1），之后把A[0,1]填充到A[dest-1,dest]，cursor1和dest指针左移两个位置。
   

6. 如果cursor1>=0，之后会再用curosr1指向的数据在tmp数组中查找，由于这里cursor1已经是-1了，循环结束。

7. 最后把tmp里剩余的数据拷贝到A数组的剩余位置中，结束。
   

5.异常情况下Timsort的归并

假设这里实现的compare(obj o1,obj o2)如下：

1 2 3

public int compare ( Integer o1 , Integer o2 ) {      return o1 > o2 ? 1 : - 1 ; }

1. 仍然是分成A，B两段：
   

2. 在“掐头去尾”的时候，这时会有一些变化，程序执行到compare(B[base2],A[base1])时返回-1，A的左侧留下了两个应该被切走的“5”。
   

3. 接下来是正常的归并过程。
   

4. 这里同样会触发“胜利”>N次逻辑
   

5. 在A[base1,cursor1]中查找小于tmp[cursor2]的元素，复制，cursor1和dest左移两位。
   

6. 此时再用A[cursor1]在tmp中查找，tmp中所有的数据都被移入A数组，cursor2、dest左移4位。tmp2剩余元素的数量（len2）为0。
   

注意！

在第6步查找的时候，有A[base1+1]<tmp[0]（tmp[0]的值等于没有合并之前的B[base2]）。
而第2步时，有B[base2]<A[base1]
而最初生成RunTask的时候，有A[base1]<=A[base1+1]
连起来就是B[base2]<A[base1]<=A[base1+1]<B[base2]，这显然是有问题的。

所以，当len2==0时，会抛出“Comparison method violates its general contract”异常。问题复现的条件是触发“胜利N次”的优化，并且存在类似(A[base1]==A[base1+x])&&(A[base1+x]==B[base2])的数据排列。这里应该还有几种另外的触发条件，精力有限，就不再深究了。

6.参考

TimSort in Java 7 OpenJDK 源代码阅读之 TimSort