- 博客(2)
- 资源 (5)
- 问答 (3)
- 收藏
- 关注
转载 Hive SQL的编译过程
Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中,我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力,在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有
2015-10-15 16:41:47 649
转载 flatmap详解
flatMapflatMap是一种常用的组合子,结合映射[mapping]和扁平化[flattening]。 flatMap需要一个处理嵌套列表的函数,然后将结果串连起来。scala> val nestedNumbers = List(List(1, 2), List(3, 4))nestedNumbers: List[List[Int]] = List(List(1, 2), Li
2015-10-08 13:04:24 9163
MapReduce 查询mysql表中的数据,打印记录数,并转储回mysql表
2016-01-10
web端怎么写手机短信推送,java的
2013-08-09
hql的一对多查询怎么做啊?
2013-08-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人