java高性能序列化_Java最佳实践–高性能序列化

最新推荐文章于 2024-07-30 20:50:32 发布
最新推荐文章于 2024-07-30 20:50:32 发布
阅读量421 收藏
点赞数
文章标签： java python 大数据 编程语言 android
原文链接：https://www.javacodegeeks.com/2010/07/java-best-practices-high-performance.html
版权

java高性能序列化

在使用Java编程语言时，我们将继续讨论与建议的实践有关的系列文章，我们将讨论并演示如何将对象序列化用于高性能应用程序。

所有讨论的主题均基于用例，这些用例源于电信行业关键任务超高性能生产系统的开发。

在阅读本文的每个部分之前，强烈建议您参考相关的Java API文档以获取详细信息和代码示例。

所有测试均针对具有以下特征的Sony Vaio进行：

  • 系统：openSUSE 11.1（x86_64）
  • 处理器（CPU）：Intel（R）Core（TM）2 Duo CPU T6670 @ 2.20GHz
  • 处理器速度：1,200.00 MHz
  • 总内存（RAM）：2.8 GB
  • Java：OpenJDK 1.6.0_0 64位

应用以下测试配置：

  • 并发工人线程：200
  • 每个工作人员重复测试的线程数：1000
  • 整体测试次数：100

高性能序列化

序列化是将对象转换为字节流的过程。 然后可以通过套接字发送该流，将其存储到文件和/或数据库中，或者直接按原样对其进行操作。 在本文中，我们不打算对序列化机制进行深入的描述，有许多文章提供了这种信息。 这里将讨论的是我们利用序列化以实现高性能结果的主张。

序列化的三个主要性能问题是：

  • 序列化是一种递归算法。 从单个对象开始，还可以对通过实例变量可以从该对象访问的所有对象进行序列化。 默认行为很容易导致不必要的序列化开销
  • 序列化和反序列化都需要序列化机制来发现有关其序列化实例的信息。 使用默认的序列化机制，将使用反射来发现所有字段值。 此外，如果您没有明确设置“ serialVersionUID”类属性，则序列化机制必须对其进行计算。 这涉及遍历所有字段和方法以生成哈希。 上述过程可能会很慢
  • 使用默认的序列化机制，所有序列化类描述信息都包含在流中，例如：
    • 所有可序列化超类的描述
    • 类本身的描述
    • 与类的特定实例关联的实例数据

要解决上述性能问题，可以改用外部化。 这两种方法之间的主要区别在于，序列化将所有可序列化超类的类描述以及与该实例相关联的信息（当被视为每个单独的超类的实例）一起写出。 另一方面，外部化会写出类的标识（类的名称和适当的“ serialVersionUID”类属性）以及超类结构以及有关类层次结构的所有信息。 换句话说，它存储所有元数据，但仅写出本地实例信息。 简而言之，外部化几乎消除了序列化机制使用的所有反射调用，使您可以完全控制编组和解组算法，从而显着提高性能。

当然，外部化效率是有代价的。 由于从类定义中自动提取了元数据，因此默认的序列化机制可适应应用程序更改。 另一方面，外部化不是很灵活，需要您在更改类定义时重写编组和解组代码。

以下是有关如何将外部化用于高性能应用程序的简短演示。 我们将从提供“ Employee”对象开始执行序列化和反序列化操作。 将使用两种类型的“ Employee”对象。 一种适合标准序列化操作，另一种经过修改以便可以外部化。

以下是“雇员”对象的第一种味道： 

package com.javacodegeeks.test;

import java.io.Serializable;
import java.util.Date;
import java.util.List;

public class Employee implements Serializable {

 private static final long serialVersionUID = 3657773293974543890L;
 
 private String firstName;
 private String lastName;
 private String socialSecurityNumber;
 private String department;
 private String position;
 private Date hireDate;
 private Double salary;
 private Employee supervisor;
 private List<string> phoneNumbers;
 
 public Employee() {
 }
 
 public Employee(String firstName, String lastName,
   String socialSecurityNumber, String department, String position,
   Date hireDate, Double salary) {
  this.firstName = firstName;
  this.lastName = lastName;
  this.socialSecurityNumber = socialSecurityNumber;
  this.department = department;
  this.position = position;
  this.hireDate = hireDate;
  this.salary = salary;
 }

 public String getFirstName() {
  return firstName;
 }

 public void setFirstName(String firstName) {
  this.firstName = firstName;
 }

 public String getLastName() {
  return lastName;
 }

 public void setLastName(String lastName) {
  this.lastName = lastName;
 }

 public String getSocialSecurityNumber() {
  return socialSecurityNumber;
 }

 public void setSocialSecurityNumber(String socialSecurityNumber) {
  this.socialSecurityNumber = socialSecurityNumber;
 }

 public String getDepartment() {
  return department;
 }

 public void setDepartment(String department) {
  this.department = department;
 }

 public String getPosition() {
  return position;
 }

 public void setPosition(String position) {
  this.position = position;
 }

 public Date getHireDate() {
  return hireDate;
 }

 public void setHireDate(Date hireDate) {
  this.hireDate = hireDate;
 }

 public Double getSalary() {
  return salary;
 }

 public void setSalary(Double salary) {
  this.salary = salary;
 }

 public Employee getSupervisor() {
  return supervisor;
 }

 public void setSupervisor(Employee supervisor) {
  this.supervisor = supervisor;
 }

 public List<string> getPhoneNumbers() {
  return phoneNumbers;
 }

 public void setPhoneNumbers(List<string> phoneNumbers) {
  this.phoneNumbers = phoneNumbers;
 }

}

这里要注意的事情：

  • 我们假定以下字段是必填字段：
    • “名字”
    • “姓”
    • “社会安全号码”
    • “部门”
    • “位置”
    • “雇用日期”
    • “薪水”

以下是“雇员”对象的第二种风味： 

package com.javacodegeeks.test;

import java.io.Externalizable;
import java.io.IOException;
import java.io.ObjectInput;
import java.io.ObjectOutput;
import java.util.Arrays;
import java.util.Date;
import java.util.List;

public class Employee implements Externalizable {

 private String firstName;
 private String lastName;
 private String socialSecurityNumber;
 private String department;
 private String position;
 private Date hireDate;
 private Double salary;
 private Employee supervisor;
 private List<string> phoneNumbers;
 
 public Employee() {
 }
 
 public Employee(String firstName, String lastName,
   String socialSecurityNumber, String department, String position,
   Date hireDate, Double salary) {
  this.firstName = firstName;
  this.lastName = lastName;
  this.socialSecurityNumber = socialSecurityNumber;
  this.department = department;
  this.position = position;
  this.hireDate = hireDate;
  this.salary = salary;
 }

 public String getFirstName() {
  return firstName;
 }

 public void setFirstName(String firstName) {
  this.firstName = firstName;
 }

 public String getLastName() {
  return lastName;
 }

 public void setLastName(String lastName) {
  this.lastName = lastName;
 }

 public String getSocialSecurityNumber() {
  return socialSecurityNumber;
 }

 public void setSocialSecurityNumber(String socialSecurityNumber) {
  this.socialSecurityNumber = socialSecurityNumber;
 }

 public String getDepartment() {
  return department;
 }

 public void setDepartment(String department) {
  this.department = department;
 }

 public String getPosition() {
  return position;
 }

 public void setPosition(String position) {
  this.position = position;
 }

 public Date getHireDate() {
  return hireDate;
 }

 public void setHireDate(Date hireDate) {
  this.hireDate = hireDate;
 }

 public Double getSalary() {
  return salary;
 }

 public void setSalary(Double salary) {
  this.salary = salary;
 }

 public Employee getSupervisor() {
  return supervisor;
 }

 public void setSupervisor(Employee supervisor) {
  this.supervisor = supervisor;
 }

 public List<string> getPhoneNumbers() {
  return phoneNumbers;
 }

 public void setPhoneNumbers(List<string> phoneNumbers) {
  this.phoneNumbers = phoneNumbers;
 }

 public void readExternal(ObjectInput objectInput) throws IOException,
   ClassNotFoundException {
  
  this.firstName = objectInput.readUTF();
  this.lastName = objectInput.readUTF();
  this.socialSecurityNumber = objectInput.readUTF();
  this.department = objectInput.readUTF();
  this.position = objectInput.readUTF();
  this.hireDate = new Date(objectInput.readLong());
  this.salary = objectInput.readDouble();
  
  int attributeCount = objectInput.read();

  byte[] attributes = new byte[attributeCount];

  objectInput.readFully(attributes);
  
  for (int i = 0; i < attributeCount; i++) {
   byte attribute = attributes[i];

   switch (attribute) {
   case (byte) 0:
    this.supervisor = (Employee) objectInput.readObject();
    break;
   case (byte) 1:
    this.phoneNumbers = Arrays.asList(objectInput.readUTF().split(";"));
    break;
   }
  }
  
 }

 public void writeExternal(ObjectOutput objectOutput) throws IOException {
  
  objectOutput.writeUTF(firstName);
  objectOutput.writeUTF(lastName);
  objectOutput.writeUTF(socialSecurityNumber);
  objectOutput.writeUTF(department);
  objectOutput.writeUTF(position);
  objectOutput.writeLong(hireDate.getTime());
  objectOutput.writeDouble(salary);
  
  byte[] attributeFlags = new byte[2];
  
  int attributeCount = 0;
  
  if (supervisor != null) {
   attributeFlags[0] = (byte) 1;
   attributeCount++;
  }
  if (phoneNumbers != null && !phoneNumbers.isEmpty()) {
   attributeFlags[1] = (byte) 1;
   attributeCount++;
  }
  
  objectOutput.write(attributeCount);
  
  byte[] attributes = new byte[attributeCount];

  int j = attributeCount;

  for (int i = 0; i < 2; i++)
   if (attributeFlags[i] == (byte) 1) {
    j--;
    attributes[j] = (byte) i;
   }

  objectOutput.write(attributes);
  
  for (int i = 0; i < attributeCount; i++) {
   byte attribute = attributes[i];

   switch (attribute) {
   case (byte) 0:
    objectOutput.writeObject(supervisor);
    break;
   case (byte) 1:
    StringBuilder rowPhoneNumbers = new StringBuilder();
    for(int k = 0; k < phoneNumbers.size(); k++)
     rowPhoneNumbers.append(phoneNumbers.get(k) + ";");
    rowPhoneNumbers.deleteCharAt(rowPhoneNumbers.lastIndexOf(";"));
    objectOutput.writeUTF(rowPhoneNumbers.toString());
    break;
   }
  }
  
 }
}

这里要注意的事情：

  • 我们实现了用于编组“雇员”对象的“ writeExternal”方法。 所有必填字段都写入流
  • 对于“ hireDate”字段，我们仅写入此Date对象表示的毫秒数。 假设demarshaller将使用与marshaller相同的时区，那么毫秒值就是我们要正确反序列化“ hireDate”字段所需的所有信息。 请记住，我们可以使用“ objectOutput.writeObject（hireDate）”操作来序列化整个“ hireDate”对象。 在这种情况下，默认的序列化机制将导致结果流的速度下降和大小增加
  • 所有非强制性字段（“ supervisor”和“ phoneNumbers”）只有在具有实际值（非null）时才被写入流中。 为了实现此功能，我们使用“ attributeFlags”和“ attributes”字节数组。 “ attributeFlags”数组的每个位置代表一个非强制性字段，并保留一个“标记”，指示特定字段是否具有值。 我们检查每个非必填字段，并使用相应的标记填充“ attributeFlags”字节数组。 “属性”字节数组指示必须通过“位置”写入流中的实际非必需字段。 例如，如果“ supervisor”和“ phoneNumbers”非必填字段均具有实际值，则“ attributeFlags”字节数组应为[1,1]，而“ attributes”字节数组应为[0,1]。 如果只有“ phoneNumbers”非必需字段具有非空值，则“ attributeFlags”字节数组应为[0,1]，而“ attributes”字节数组应为[1]。 通过使用上述算法，我们可以为生成的流实现最小的尺寸占用。 为了正确地反序列化“ Employee”对象的非必需参数，我们必须仅将以下信息写入流：
    • 将要写入的非强制性参数的总数（又称“属性”字节数组大小-供编组者解析）
    • “属性”字节数组（供编组员正确分配字段值）
    • 实际非强制性参数值
  • 对于“ phoneNumbers”字段，我们构造并将其内容的String表示形式写入流中。 或者，我们可以使用“ objectOutput.writeObject（phoneNumbers）”操作来序列化整个“ phoneNumbers”对象。 在这种情况下，默认的序列化机制将导致结果流的速度下降和大小增加
  • 我们实现了“ readExternal”方法来对“ Employee”对象进行编组。 所有必填字段都将写入流中。 对于非必填字段，demarshaller根据上述协议分配适当的字段值

对于序列化和反序列化过程，我们使用了以下四个功能。 这些功能有两种形式。 第一对适用于序列化和反序列化Externalizable对象实例，而第二对适用于序列化和反序列化Serializable对象实例。 

public static byte[][] serializeObject(Externalizable object) throws Exception {
  ByteArrayOutputStream baos = null;
  ObjectOutputStream oos = null;
  byte[][] res = new byte[2][];
  
  try {
   baos = new ByteArrayOutputStream();
   oos = new ObjectOutputStream(baos);
   
   object.writeExternal(oos);
   oos.flush();
   
   res[0] = object.getClass().getName().getBytes();
   res[1] = baos.toByteArray();
  
  } catch (Exception ex) {
   throw ex;
  } finally {
   try {
    if(oos != null)
     oos.close();
   } catch (Exception e) {
    e.printStackTrace();
   }
  }
  
  return res;
 }
public static Externalizable deserializeObject(byte[][] rowObject) throws Exception {
  ObjectInputStream ois = null;
  String objectClassName = null;
  Externalizable res = null;
  
  try {
   
   objectClassName = new String(rowObject[0]);
   byte[] objectBytes = rowObject[1];
   
   ois = new ObjectInputStream(new ByteArrayInputStream(objectBytes));
   
   Class objectClass = Class.forName(objectClassName);
   res = (Externalizable) objectClass.newInstance();
   res.readExternal(ois);
  
  } catch (Exception ex) {
   throw ex;
  } finally {
   try {
    if(ois != null)
     ois.close();
   } catch (Exception e) {
    e.printStackTrace();
   }
   
  }
  
  return res;
  
 }
public static byte[] serializeObject(Serializable object) throws Exception {
  ByteArrayOutputStream baos = null;
  ObjectOutputStream oos = null;
  byte[] res = null;
  
  try {
   baos = new ByteArrayOutputStream();
   oos = new ObjectOutputStream(baos);
   
   oos.writeObject(object);
   oos.flush();
   
   res = baos.toByteArray();
  
  } catch (Exception ex) {
   throw ex;
  } finally {
   try {
    if(oos != null)
     oos.close();
   } catch (Exception e) {
    e.printStackTrace();
   }
  }
  
  return res;
 }
public static Serializable deserializeObject(byte[] rowObject) throws Exception {
  ObjectInputStream ois = null;
  Serializable res = null;
  
  try {
   
   ois = new ObjectInputStream(new ByteArrayInputStream(rowObject));
   res = (Serializable) ois.readObject();
  
  } catch (Exception ex) {
   throw ex;
  } finally {
   try {
    if(ois != null)
     ois.close();
   } catch (Exception e) {
    e.printStackTrace();
   }
   
  }
  
  return res;
  
 }

下面我们展示了上述两种方法之间的性能比较表

横轴表示测试运行的次数，纵轴表示每次测试运行的每秒平均事务数（TPS）。 因此，较高的值更好。 如您所见，与普通的Serializable方法相比，使用Serializable方法可以在序列化和反序列化时获得更高的性能。

最后，我们必须指出我们执行了测试，为“ Employee”对象的所有非必填字段提供了值。 如果在同一方法之间进行比较时不使用所有非强制性参数，并且最重要的是在Externalizable和Serializable方法之间进行交叉比较时，您应该期望获得更高的性能提升。

编码愉快！

贾斯汀

相关文章 ：

翻译自: https://www.javacodegeeks.com/2010/07/java-best-practices-high-performance.html

java高性能序列化

dnc8371
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度详解Java序列化
weixin_43178406的博客
09-24 6万+
 对象序列化是将对象转换为字节序列的过程，使其可以在网络上进行传输或者保存到磁盘上。本文将详细介绍Java对象序列化的实现机制、工作原理和注意事项。希望能对学习Java的同学们有所帮助。 文章目录 1. Java对象序列化的作用 2. Java对象序列化实现机制 3. 序列化的注意事项 4. 常用的序列化协议 4.1 Java标准序列化 4.2 JSON 4.3 Protobuf 4.4 Thrift 5. 总结
Java序列化 json序列化_Java序列化与JSON序列化大比拼
weixin_42140710的博客
02-12 1247
一、背景有项目需要传输Map结构的数据，有人倾向用JAVA序列化来做，有人倾向用JSON的序列化来做。所以我们还是比比吧。Java观点：Object2Object，使用时简单快速。JSON观点：JSON格式与语言无关，扩展性强，速度也应该不慢。大家可能对Java序列化都有一个错误的认识，认为Java序列化比JSON的序列化效率高并且序列化的数据小，其实实际上并不一定是这样，我这次就想通过实际测试来...
java反序列化耗时_java序列化方式性能比较
weixin_39631755的博客
03-08 1208
有一个很不错的工具http://github.com/eishay/jvm-serializers/，可以用它来评测各种流行的java序列化反序列化工具，使用上也很简单。想试试该工具的，下载源码后参考起README操作即可。而我更关心的是，是各种工具的性能对比，以作选择的一个衡量标准，也就是http://github.com/eishay/jvm-serializers/wiki的 图示和数据...
Java高性能序列化工具Kryo序列化
weixin_71682097的博客
06-09 1120
Java高性能序列化工具Kryo序列化
Java中的序列化与反序列化
yuiezt的专栏
07-15 2238
序列化（Serialization）与反序列化（Deserialization）是编程中常见的两个概念，它们主要涉及到将数据结构或对象状态转换为可以存储或传输的格式，以及将存储或传输的格式转换回原始的数据结构或对象状态的过程。这两个过程在数据持久化、网络通信、对象深拷贝等多个场景中发挥着重要作用。
Java常见的序列化和反序列化框架的性能，速度，大小pk
u011327159的博客
06-12 2116
在很长的一段时间，kryo都是Java环境最快的序列化框架，也得到了广泛的应用。 最近出现的zfoo protocol是新进的挑战者，于是就分别测试了，zfoo，kryo，protobuf的速度，性能，大小。 序列化：将Java对象转化为二进制的byte字节数组 反序列化：将二进制的byte字节数组转化为Java对象 在RPC应用中，进行跨进程远程调用的时候，需要使用特定的序列化技术，需要对进行网络传输的对象进行序列化和反序列化。 影响序列化和反序列化选择有两个主要因素 1.序列化之后码流的大小，如果
Java IO篇：序列化与反序列化
热门推荐
张维鹏的博客
01-12 1万+
两个服务之间要传输一个数据对象，就需要将对象转换成二进制流，通过网络传输到对方服务，再转换成对象，供服务方法调用。这个编码和解码的过程称之为序列化和反序列化。所以序列化就是把 Java 对象变成二进制形式，本质上就是一个byte[]数组。将对象序列化之后，就可以写入磁盘进行保存或者通过网络中输出给远程服务了。反之，反序列化可以从网络或者磁盘中读取的字节数组，反序列化成对象，在程序中使用。
详解JAVA序列化
Joker_ZJN的博客
06-27 7430
进来，一文给你讲明白“序列化”。
Fastjson：Java高性能JSON库，序列化与反序列化
左小轩的博客
09-20 2872
Fastjson是一个Java语言编写的高性能功能完善的JSON库。它采用一种“假定有序快速匹配”的算法，把JSON Parse的性能提升到极致，是目前Java语言中最快的JSON库。Fastjson接口简单易用，已经被广泛使用在缓存序列化、协议交互、Web输出、Android客户端等多种应用场景。 主要特点 快速：测试结果比其他Java解析器（包括jackson）或databinder更...
Java 序列化反序列化框架比较
Davis
04-10 1418
文章目录一、简介二、序列化框架三、序列化框架对比测试1、对象准备2、JDK方式3、FastJson方式4、Hessian方式5、Protostuff方式6、测试代码四、总结五、序列化应用场景六、注意事项 一、简介 序列化：将Java对象转化成字节数组。 反序列化：将字节数组转化成Java对象。 影响序列化选择有两个因素： 序列化之后码流的大小，如果太大，那么将会影响网络传输的性能。 序列化和反序列化过程的性能。 二、序列化框架 本文主要进行以下序列化框架的对比测试： JDK Fas
Java中对象序列化与反序列化详解
09-03
在Java编程中，对象序列化是一个重要的概念，它允许将Java对象转换为字节序列，便于存储或在网络中传输。...理解并掌握序列化和反序列化的基本原理、方法以及注意事项，对于开发高质量的Java应用程序至关重要。
Java实现几种序列化方式总结
10-20
Java序列化是将对象的状态转换为字节流的过程，以便可以在网络上传输或保存到磁盘上，稍后恢复为原来的对象状态。在Java中，序列化主要通过实现`Serializable`接口来完成。以下是几种常见的Java序列化方式的详细解释...
java常见的序列化方式
09-01
Java序列化是Java平台提供的一种将对象转换为字节流，以便存储或在网络间传输的技术。这种方式使得对象能够在不同环境间共享，例如在网络通信、持久化存储等方面。Java中的序列化是通过实现`Serializable`接口来标记...
关于Java对象序列化您不知道的5件事Java开发Java
11-25
虽然Java自带的序列化机制简单易用，但在某些场景下，如JSON或XML序列化，可能需要使用第三方库，如Jackson、Gson或protobuf，它们提供了更丰富的功能和更高的性能。 11. **序列化与克隆的区别**： 序列化和对象...
Java_序列化的高级认识
02-27
为了避免循环引用导致的无限递归，Java序列化机制采用了一种称为“写替换”（writeReplace）的技术，允许用户自定义序列化的过程，以满足特定的业务需求或性能优化。 总之，Java序列化不仅仅是一种简单的对象持久化...
使用hutool工具判断字符串是否全部是字母(包括大小写)，java判断字符串是否全部是字母(包括大小写)
qq_43700885的博客
07-29 452
1.导入hutool的maven依赖。2.复制一下代码执行。
java判断邮箱地址是否正确，使用hutool工具判断邮箱地址是否正确
qq_43700885的博客
07-29 256
1.导入hutool的maven依赖。2.直接复制一下代码运行。
Swagger使用Map接受参数时，页面如何显示具体参数及说
a1058926697的博客
07-26 624
后端使用Map接受参数，要求在swagger页面上显示具体的参数名称、类型及说明。当Map接受参数数量少时，可以使用Swagger自带的注解。自定义注解 @ApiGlobalModel。编写处理注解对应的插件。
花几千上万学习Java，真没必要！（三十五）
最新发布
wehpd的博客
07-30 294
集合之Map
大型分布式Java应用实践：高性能与优化策略
"《构建高性能的大型分布式Java应用》是一份深入探讨如何构建高效、可扩展的Java应用程序的文档，...《构建高性能的大型分布式Java应用》提供了全面的指导，帮助开发者理解和实践构建可扩展、高性能的Java分布式系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值