- 博客(2)
- 收藏
- 关注
原创 HIVE数仓ETL之MongoDB
前状: 平台目前还没有完善的mongodb数据同步方式,在拉取公司埋点系统countly数据时,起初通过编写MapReduce读取mongodb数据转化成BSONObject写入到HDFS,在hive中创建映射表,使得BSON格式数据可以通过hive sql方式进行查询 通过这种方式存在弊端: 1.执行MapReduce耗时太长,这里一部分是网络原因,还有一部分是起了太多的map 任务,也就
2017-09-10 20:57:46 3254 1
转载 写给第一个看到这篇文章的人
「人生短暂,不要浪费生命去为了别人而活。不要被灌注了别人思想的教条所束缚。不要让他人嘈杂的想法蒙蔽了自己的心声。 最重要的是,勇敢地追随内心,听从直觉,因为它们知道我们真正想要的是什么。其他的都是次要。」 「不要等到所有事情都刚刚好,它们永远不会完美。永远都会有挑战、阻碍及不尽完美的条件。所以呢,现在就开始。 每当你走一步,你将变得愈来愈强,愈来愈熟练,愈来愈有自信,及愈来愈成功。」 「当
2017-03-15 14:36:03 257 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人