- 博客(4)
- 收藏
- 关注
RSS订阅原创 Exception in thread "main" java.io.IOException: Trying to load more than 32 hfiles to one family of
遇见问题： 命令：hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /user/yz/zhaochao/duotou200/ neibudt_200_cols_hfile20190409_1 报错：Exception in thread "main" java.io.IOExcepti...
2019-04-10 14:24:02
784
原创 Flink生成Hfile
提出需求： 团队为了统一技术栈，一致同意用Flink来进行对批和流计算统一处理。问题来了： Flink似乎相对spark来说还是很不完善，spark分分钟搞定的事情，在Flink里就需要动动脑子了。参考spark;object CreateHfile { def main(args: Array[String]): Unit = {...
2019-04-08 17:36:37
1654
9
原创 Hbase批量导入&批量删除
Hi： 小明：sir，我遇见一个需求，根据42万手机号码段生产全量的手机号。 大牛：what，那岂不是要生成42亿多手机号。 小明：yes，而且还需要每次随机提取一千万条，第二次提取不能包含上一次的手机号。 大牛：shit，good luck。 思考时间…… 大牛：管它三七二十一，一个循环跑去吧。然后提...
2019-04-01 12:11:37
1632
原创 java 按照指定大小拆分List
/** * 将一个list均分成n个list,主要通过偏移量来实现的 * * @param source * @return */ public static <T> List<List<T>> averageAssign(List<T> source, int n) { L...
2019-04-01 10:47:26
1530
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人