- 博客(1)
- 收藏
- 关注
转载 Hive、MapReduce、Spark分布式生成唯一数值型ID
在实际业务场景下,经常会遇到在Hive、MapReduce、Spark中需要生成唯一的数值型ID。 一般常用的做法有: MapReduce中使用1个Reduce来生成; Hive中使用row_number分析函数来生成,其实也是1个Reduce; 借助HBase或Redis或Zookeeper等其它框架的计数器来生成; 数据量不大的情况下,可以直接使用1和2方法来生成
2017-04-12 22:19:39
719
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人