thrift序列化 java_spark下反序列化thrift对象序列化文件

本篇博客介绍如何在spark程序中使用thrift接口反序列化对象。

代码如下，其中args(0)表示输入的hdfs路径，args(1)表示输出路径。val hdfsPath = args(0)

sparkContext.sequenceFile[BytesWritable, BytesWritable](hdfsPath)

.values

.map{ case value =>

try {

val deserializer: TDeserializer = new TDeserializer(new TCompactProtocol.Factory)

val someClass = new SomeClass

deserializer.deserialize(someClass, value.copyBytes())

someClass

} catch { case e: Exception =>

logError("Failed to deserialize", e);

null

}

}

.filter(_ != null)

.saveAsTextFile(args(1))