java序列化和反序列化kryo

概念介绍

把Java对象转换为字节序列的过程称为对象的序列化。
把字节序列恢复为Java对象的过程称为对象的反序列化。

对象的序列化主要有两种用途:
  1) 数据介质存储
  2) 数据网络传输
1)对象序列化–java

public byte[] serialize(Object obj) throws Exception {  
    if(obj==null) throw new NullPointerException();  

    ByteArrayOutputStream os = new ByteArrayOutputStream();  
    ObjectOutputStream out = new ObjectOutputStream(os);  
    out.writeObject(obj);  
    return os.toByteArray();  
}  

public Object deserialize(byte[] by) throws Exception {  
    if(by==null) throw new NullPointerException();  

    ByteArrayInputStream is = new ByteArrayInputStream(by);  
    ObjectInputStream in = new ObjectInputStream(is);  
    return in.readObject();  
}  

2)对象序列化–hessian
public byte[] serialize(Object obj) throws IOException{
if(obj==null) throw new NullPointerException();

ByteArrayOutputStream os = new ByteArrayOutputStream();  
HessianOutput ho = new HessianOutput(os);  
ho.writeObject(obj);  
return os.toByteArray();  

}

public Object deserialize(byte[] by) throws IOException{
if(by==null) throw new NullPointerException();

ByteArrayInputStream is = new ByteArrayInputStream(by);  
HessianInput hi = new HessianInput(is);  
return hi.readObject();  

}
3)对象序列化–kryo

/**
     * Kryo serialize
     *
     * @param source
     * @return
     * @throws IOException
     */
    public static byte[] KryoSerialize(Object source) throws IOException {

        ByteArrayOutputStream bos = null;
        try {
            bos = new ByteArrayOutputStream();
            Kryo kryo = new Kryo();
            Output output = new Output(bos);
            kryo.writeObject(output, source);
            output.flush();
            output.close();
            return bos.toByteArray();
        } finally {
            try {
                bos.close();
            } catch (IOException e) {
                log.warn("IOException while kryoWriteObject final:", e);
            }
        }
    }

    /**
     * Kryo deserialize
     *
     * @param bytes,Class
     * @return
     * @throws IOException
     */
    public static <T> T KryoDeserialize(byte[] bytes, Class<T> type) throws IOException {
        if (bytes == null) {
            return null;
        }
        Kryo kryo = new Kryo();
        Input input = new Input(bytes);
        T obj = kryo.readObject(input, type);
        input.close();
        return obj;
    }

    public static void main(String[] args) throws IOException {
        System.out.println("start");
        byte[] ser = KryoSerialize(1L);
        System.out.println("KryoSerialize=====" + new String(ser));
        System.out.println("KryoDeserialize=====" + KryoDeserialize(ser, Long.class));
    }
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Kryo是一个快速、高效的Java序列化框架,比Java自带的序列化框架更快、更小、更节省内存。在Spark中,使用Kryo作为默认的序列化框架可以显著地提高性能。下面是一个使用Kryo序列化的案例: ```java import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.serializer.KryoRegistrator; import com.esotericsoftware.kryo.Kryo; public class KryoExample { public static void main(String[] args) { SparkConf conf = new SparkConf().setAppName("KryoExample").setMaster("local"); conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer"); conf.set("spark.kryo.registrator", MyKryoRegistrator.class.getName()); JavaSparkContext sc = new JavaSparkContext(conf); JavaRDD<String> lines = sc.textFile("input.txt"); JavaRDD<MyObject> objects = lines.map(line -> { MyObject obj = new MyObject(); obj.setId(Integer.parseInt(line.split(",")[0])); obj.setName(line.split(",")[1]); return obj; }); objects.foreach(obj -> System.out.println(obj.getId() + ": " + obj.getName())); } public static class MyObject { private int id; private String name; public int getId() { return id; } public void setId(int id) { this.id = id; } public String getName() { return name; } public void setName(String name) { this.name = name; } } public static class MyKryoRegistrator implements KryoRegistrator { @Override public void registerClasses(Kryo kryo) { kryo.register(MyObject.class); } } } ``` 在上面的代码中,我们首先创建了一个SparkConf对象,并设置了应用名称和运行模式。然后,我们设置了序列化器为KryoSerializer,并指定了KryoRegistrator为MyKryoRegistrator。MyKryoRegistrator类是一个自定义的Kryo注册器,用于注册我们需要序列化的类MyObject。 接下来,我们使用JavaSparkContext读取了一个文本文件,并将每一行转换成一个MyObject对象。最后,我们对这些对象进行了遍历,并输出了它们的id和name属性。 需要注意的是,如果我们没有使用KryoSerializer序列化器,程序将默认使用Java自带的序列化器,这样可能会导致性能瓶颈。因此,建议在Spark中使用Kryo作为默认的序列化器。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

左钦杨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值