- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Hadoop NameNode元数据相关文件目录解析
本文转自 Hadoop NameNode元数据相关文件目录解析一 NameNode 元数据相关文件目录架构二 元数据相关文件解析1 VERSION 文件2 seen_txid 文件3 fsimage 和 edits 及 md5 校验文件三 文件系统元数据 fsimage 和编辑日志 edits1 edits 和 fsimage 文件的概念2 fsimage
2017-06-28 10:29:25
1103
原创 Spark自定义RDD重分区
在某些计算场景中，我们可能需要将两个有关联的数据输入的部分数据，也就是说RDD中的部分数据，需要聚合在同一个partition进行匹配计算，这个时候，我们就需要根据实际的业务需求，自定义RDD重分区。下面结合代码，看看具体怎么实现重分区，spark内部提供了一个分区抽象类Partitioner:package org.apache.spark/** * An object that d...
2017-06-26 14:45:54
2694
原创 日志中如何输出完整的堆栈异常
程序中发生异常后，我们捕捉到异常之后一般是输出e.toString到日志，这样我们只能知道异常类型是什么，只有一个简单的描述，无法看到具体的堆栈信息。利用下面一段代码，可以将完整的堆栈信息输出到日志系统中。
2017-06-06 09:36:49
9549
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人