kryo序列化测试
测试spark程序运行中对RDD进行操作,添加与不添加序列化在性能上的区别。
区别包括占用内存大小,程序运行时间等。
测试spark流程
随机生成字符串,以空格分割成行,进行多次map遍历。对结果进行持久化,并保存成文件。
case class DataCase(input: Int) // 一个简单的case class.
val testNew2 = testRDD.flatMap(x => x.split(" "))
.map(x => DataCase(x))
.map(x => x) // map * 10086
testNew2.persist()
testNew2.repartition(1)
.saveAsTextFile("./test.file")
persist() 方法包含了多种持久化类型。
persist() 默认持久化类型为org.apache.spark.storage.StorageLevel.MEMORY_ONLY
// persist(StorageLevel.MEMORY_ONLY)
持久化类型:
MEMORY_ONLY : 将 RDD 以反序列化 Java 对象的形式存储在 JVM 中。如果内存空间不够,部分数据分区将不再缓存,在每次需要用到这些数据时重新进行计算。这是默认的级别。
MEMORY_AND_DISK : 将 RDD 以反序列化 Java 对象的形式存储在 JVM 中。如果内存空间不够,将未缓存的数据分区存储到磁盘,在需要使用这些分区时从磁盘读取。
MEMORY_ONLY_SER : 将 RDD 以序列化的 Java 对象的形式进行存储(每个分区为一个 byte 数组&#