- 博客(2)
- 资源 (1)
- 收藏
- 关注
原创 CDH环境快速恢复不同步的JournalNode
背景:CDH集群中一个DataNode节点宕机后所有服务中断,其他节点正常运行并存储了大量新数据。在恢复宕机节点后,重启其DataNode与JournalNode,之后CM报出JournalNode不同步的错误,如下图。处理:1、停止bigdata168上不同步的JournalNode服务(在CM上操作角色)2、备份bigdata168服务器上JournalNode的数...
2020-03-30 11:22:27 3679 1
原创 Spark中便捷生成全局唯一自增ID
总体思路利用spark RDD API所提供的的zipWithIndex() 和 zipWithUniqueId()生成唯一ID,两者的区别如下。 zipWithIndex()首先基于分区索引排序,然后是每个分区中的项的排序。所以第一个分区中的第一项得到索引0,第二个分区的起始值是第一个分区的最大值。从0开始。分区内id连续。会触发spark job。zipWithUnique...
2020-03-11 19:42:49 3643
kafkatool2-64bit.zip kafka管理工具
2020-07-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人