spark中的性能调优5(使用kryo序列化)

问题1>为什么要使用kryo序列化呢？

           主要是解决数据在内存中的占用，和网络传输的性能

问题2>为什么不使用java本身自带的序列化机制呢？与kryo有何异同

             1>java本身就自带了ObjectinputStream和ObjectOutputStream序列化机制，这种自带的系列化本身就是可以直接使用，使用起来很方便,但是这种序列化机制会使数据占用大量的内存,消耗较大的内存空间，在大数据的应用中，内存资源很宝贵，我们应该以身作则优化自己书写的代码.

            2>使用kryo序列化机制,一个是数据的提取和数据写入内存是比较快的,也会占用很少的空间内存,了解到使用这样的序列化机制，使用的内存是Java自带的系列化机制使用量的1/10，可比之下，这是怎样的优化

  问题3>使用kryo序列化机制，会生效的地方

              1>当我们使用到外部变量的时候  ，使用kryo序列化，并且使用广播变量,这使得变量传输到executor的速度更快,而且会占用更小的内存

               3>当我们将rdd的数据进行cache的时候(缓存到内存或者磁盘根据自己需求选择)，优化网络性能，主要是传输和io

 问题4>我们应该怎样做呢:val conf = new SparkConf("spark.serializer","org.apache.spark.serializer.KryoSerializer")

                                                         .registerKryoClasses(new Class[]{序列化的类})

             个人格言:人这一辈子,我们总是要吃一些苦头,看尽一些美好的,而你在黑暗的时候,你永远也想不到自己也有花期,