问题1>为什么要使用kryo序列化呢?
主要是解决数据在内存中的占用,和网络传输的性能
问题2>为什么不使用java本身自带的序列化机制呢?与kryo有何异同
1>java本身就自带了ObjectinputStream和ObjectOutputStream序列化机制,这种自带的系列化本身就是可以直接使用,使用起来很方便,但是这种序列化机制会使数据占用大量的内存,消耗较大的内存空间,在大数据的应用中,内存资源很宝贵,我们应该以身作则优化自己书写的代码.
2>使用kryo序列化机制,一个是数据的提取和数据写入内存是比较快的,也会占用很少的空间内存,了解到使用这样的序列化机制,使用的内存是Java自带的系列化机制使用量的1/10,可比之下,这是怎样的优化
问题3>使用kryo序列化机制,会生效的地方
1>当我们使用到外部变量的时候 ,使用kryo序列化,并且使用广播变量,这使得变量传输到executor的速度更快,而且会占用更小的内存
3>当我们将rdd的数据进行cache的时候(缓存到内存或者磁盘根据自己需求选择),优化网络性能,主要是传输和io
问题4>我们应该怎样做呢:val conf = new SparkConf("spark.serializer","org.apache.spark.serializer.KryoSerializer")
.registerKryoClasses(new Class[]{序列化的类})
个人格言:人这一辈子,我们总是要吃一些苦头,看尽一些美好的,而你在黑暗的时候,你永远也想不到自己也有花期,