- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark读取经thrift序列化的parquet格式文件
读取普通parquet格式文件ParquetReader.builder(new GroupReadSupport(), new Path("xxxx")).build()读取parquet存储格式的thrift对象def createReader[V <: TBase[_,_]](path: String, vClass: Class[V]): ParquetReader[...
2019-04-15 11:10:01
1231
原创 spark streaming 自定义checkpoint实现
object CustomKafkaUtils { val log: Logger = LoggerFactory.getLogger(this.getClass) /** * 从checkpoint路径下获取kafka offset，并创建stream */ def createDirectStream[ K: ClassT...
2019-04-09 10:47:26
259
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人