（转）加快Java的文件序列化速度 .

最新推荐文章于 2022-12-03 07:40:50 发布

iteye_11325

最新推荐文章于 2022-12-03 07:40:50 发布

阅读量160

点赞数

分类专栏： JAVA技术文章标签： java c/c++

本文链接：https://blog.csdn.net/iteye_11325/article/details/82436989

版权

JAVA技术专栏收录该内容

55 篇文章 0 订阅

订阅专栏

源地址：http://blog.csdn.net/maritimesun/article/details/8065143

自从第一个Java版本开始，很多开发人员一直都在尝试让Java获得最少和C/C++一样的表现。JVM提供商尽他们最大的努力去实现一些新的JIT算法，但是还是有很多需要做的，特别是在我们使用Java的方法上。

例如，在对象<->文件序列化上就差距很大--尤其在读写内存对象上。我将就这个主题做一些解释和分享。

所有的测试都是在下面这个对象上执行的：

 
   1 public class TestObject implements Serializable { 
 
   2 
 
   3   private long longVariable; 
 
   4   private long[] longArray; 
 
   5   private String stringObject; 
 
   6   private String secondStringObject; //just for testing nulls 
 
   7 
 
   8   /* getters and setters */ 
 
   9}

为了简单起见，我将只贴出写入方法（尽管读取类似），完整的源码在GitHub上可以找到（http://github.com/jkubrynski/serialization-tests）

最标准的java序列化（我们都是从这里学起的）是这样的：

 
public void testWriteBuffered(TestObject test, String fileName) throwsIOException { 
 
  ObjectOutputStream objectOutputStream = null; 
 
  try { 
 
    FileOutputStream fos = new FileOutputStream(fileName); 
 
    BufferedOutputStream bos = new BufferedOutputStream(fos); 
 
    objectOutputStream = new ObjectOutputStream(bos); 
 
    objectOutputStream.writeObject(test); 
 
  } finally { 
 
    if (objectOutputStream != null) { 
 
      objectOutputStream.close(); 
 
    } 
 
  } 
 
   13}

提升标准序列化速度的最简单方法时使用RandomAccessFile对象：

 
public void testWriteBuffered(TestObject test, String fileName) throwsIOException { 
 
  ObjectOutputStream objectOutputStream = null; 
 
  try { 
 
    RandomAccessFile raf = new RandomAccessFile(fileName, "rw"); 
 
    FileOutputStream fos = new FileOutputStream(raf.getFD()); 
 
    objectOutputStream = new ObjectOutputStream(fos); 
 
    objectOutputStream.writeObject(test); 
 
  } finally { 
 
    if (objectOutputStream != null) { 
 
      objectOutputStream.close(); 
 
    }      
 
   12}

更高深点的技术是使用Kryo框架，新旧版本的差距是很大的，我做过测试。因为性能比较上并没有体现出特别引人注意的差异，所以我将使用2.x版本，因为它对用户更友好而且更快些。

 
private static Kryo kryo = new Kryo(); // version 2.x 
 
   02 
 
public void testWriteBuffered(TestObject test, String fileName) throwsIOException { 
 
  Output output = null; 
 
  try { 
 
    RandomAccessFile raf = new RandomAccessFile(fileName, "rw"); 
 
    output = new Output(new FileOutputStream(raf.getFD()), MAX_BUFFER_SIZE); 
 
    kryo.writeObject(output, test); 
 
  } finally { 
 
    if (output != null) { 
 
      output.close(); 
 
    } 
 
  } 
 
   14}

最后一个方案是在Martin Thompson的文章中提到的（Native C/C++ Like Performance For Java Object Serialisation），介绍了怎样在Java中像C++那样和内存打交道。

 
public void testWriteBuffered(TestObject test, String fileName) throwsIOException { 
 
  RandomAccessFile raf = null; 
 
  try { 
 
    MemoryBuffer memoryBuffer = new MemoryBuffer(MAX_BUFFER_SIZE); 
 
    raf = new RandomAccessFile(fileName, "rw"); 
 
    test.write(memoryBuffer); 
 
    raf.write(memoryBuffer.getBuffer()); 
 
  } catch (IOException e) { 
 
    if (raf != null) { 
 
      raf.close(); 
 
    } 
 
  } 
 
   13}

TestObject写入方法如下：

 
public void write(MemoryBuffer unsafeBuffer) { 
 
  unsafeBuffer.putLong(longVariable); 
 
  unsafeBuffer.putLongArray(longArray); 
 
  // we support nulls 
 
  boolean objectExists = stringObject != null; 
 
  unsafeBuffer.putBoolean(objectExists); 
 
  if (objectExists) { 
 
    unsafeBuffer.putCharArray(stringObject.toCharArray()); 
 
  } 
 
  objectExists = secondStringObject != null; 
 
  unsafeBuffer.putBoolean(objectExists); 
 
  if (objectExists) { 
 
    unsafeBuffer.putCharArray(secondStringObject.toCharArray()); 
 
  } 
 
   15}

直接内存缓冲区类（已简化了的，仅仅为了展示这个思想）

 
public class MemoryBuffer { 
 
  // getting Unsafe by reflection 
 
  public static final Unsafe unsafe = UnsafeUtil.getUnsafe(); 
 
   04 
 
  private final byte[] buffer; 
 
   06 
 
  private static final long byteArrayOffset = unsafe.arrayBaseOffset(byte[].class); 
 
  private static final long longArrayOffset = unsafe.arrayBaseOffset(long[].class); 
 
  /* other offsets */ 
 
   10 
 
  private static final int SIZE_OF_LONG = 8; 
 
  /* other sizes */ 
 
   13 
 
  private long pos = 0; 
 
   15 
 
  public MemoryBuffer(int bufferSize) { 
 
    this.buffer = new byte[bufferSize]; 
 
  } 
 
   19 
 
  public final byte[] getBuffer() { 
 
    return buffer; 
 
  } 
 
   23 
 
  public final void putLong(long value) { 
 
    unsafe.putLong(buffer, byteArrayOffset + pos, value); 
 
    pos += SIZE_OF_LONG; 
 
  } 
 
   28 
 
  public final long getLong() { 
 
    long result = unsafe.getLong(buffer, byteArrayOffset + pos); 
 
    pos += SIZE_OF_LONG; 
 
    return result; 
 
  } 
 
   34 
 
  public final void putLongArray(final long[] values) { 
 
    putInt(values.length); 
 
    long bytesToCopy = values.length << 3; 
 
    unsafe.copyMemory(values, longArrayOffset, buffer, byteArrayOffset + pos, bytesToCopy); 
 
    pos += bytesToCopy; 
 
  } 
 
   41 
 
   42 
 
  public final long[] getLongArray() { 
 
    int arraySize = getInt(); 
 
    long[] values = new long[arraySize]; 
 
    long bytesToCopy = values.length << 3; 
 
    unsafe.copyMemory(buffer, byteArrayOffset + pos, values, longArrayOffset, bytesToCopy); 
 
    pos += bytesToCopy; 
 
    return values; 
 
  } 
 
   51 
 
  /* other methods */ 
 
   53}