- 博客(2)
- 收藏
- 关注
RSS订阅原创 HIVE数仓ETL之MongoDB
前状： 平台目前还没有完善的mongodb数据同步方式，在拉取公司埋点系统countly数据时，起初通过编写MapReduce读取mongodb数据转化成BSONObject写入到HDFS，在hive中创建映射表，使得BSON格式数据可以通过hive sql方式进行查询 通过这种方式存在弊端： 1.执行MapReduce耗时太长，这里一部分是网络原因，还有一部分是起了太多的map 任务，也就
2017-09-10 20:57:46
3251
1
转载 写给第一个看到这篇文章的人
「人生短暂,不要浪费生命去为了别人而活。不要被灌注了别人思想的教条所束缚。不要让他人嘈杂的想法蒙蔽了自己的心声。 最重要的是,勇敢地追随内心,听从直觉,因为它们知道我们真正想要的是什么。其他的都是次要。」 「不要等到所有事情都刚刚好,它们永远不会完美。永远都会有挑战、阻碍及不尽完美的条件。所以呢,现在就开始。 每当你走一步,你将变得愈来愈强,愈来愈熟练,愈来愈有自信,及愈来愈成功。」 「当
2017-03-15 14:36:03
256
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人