Spark
pursuer211
这个作者很懒,什么都没留下…
展开
-
对象序列化——java原生序列化、Kryo序列化性能比较和Hessian序列化
什么是序列化以特定的方式对类实例的瞬时状态进行编码保存的一种操作,叫做对象序列化。就是将对象的这个时刻的各种属性各种值按照一定的规则变成二进制流,然后如果传输到别的jvm中,jvm可以按照规则在将二进制流反序列化成对应的对象,并且对象里面还有当时的数据和各种属性。 序列化的作用主要作用就是将序列化后的对象进行网络传输,由此可以实现对象调用,分布式对象,等各种功能。 序列化的指标1、对象序列化后的大转载 2018-01-02 15:11:25 · 3816 阅读 · 0 评论 -
Spark累加器(Accumulator)陷阱及解决办法
程序中可能会使用到spark提供的累加器功能,可是如果你不了解它的运行机制,有时候会带来一些负面作用(错误的累加结果)。下文会介绍产生错误结果的原因,并提供一种解决办法。Accumulator简介Accumulator是spark提供的累加器,顾名思义,该变量只能够增加。 只有driver能获取到Accumulator的值(使用value方法),Task只能对其做增转载 2018-01-03 11:02:44 · 1203 阅读 · 0 评论