2018年06月_WayBling

原创 SQL 聚合查询

如果我们要统计一张表的数据量，例如，想查询students表一共有多少条记录，难道必须用SELECT * FROM students查出来然后再数一数有多少行吗？这个方法当然可以，但是比较弱智。对于统计总数、平均数这类计算，SQL提供了专门的聚合函数，使用聚合函数进行查询，就是聚合查询，它可以快速获得结果。仍然以查询students表一共有多少条记录为例，我们可以使用SQL内置的COUNT...

2018-06-17 16:54:11 23508 1

原创 Hive UDF小结

HiveUDF简介：1）Hive中用于扩展HiveSQL功能的用户自定义函数称为HiveUDF 2）UDF又分为UDAF（用户自定义聚合函数），UDTF（用户自钉子表生成函数）Hive内置函数实际上Hive内置了很多函数，包括关系/算数/逻辑操作符都属于函数hive提供的build-in函数包括以下几类： 1. 关系操作符：包括 = 、 <> 、 <= 、...

2018-06-17 16:37:53 7412

转载 HiveServer2 源码分析

1.启动脚本HIVEHOME/bin/hive−−servicehiveserver2−−>HIVEHOME/bin/hive−−servicehiveserver2−−>HIVE_HOME/bin/hive --service hiveserver2 --> HIVE_HOME/bin/ ext/hiveserver2.sh –> 可以看到入口类和 org.apache...

2018-06-17 16:19:01 1190

转载 Hive CLI执行流程分析

1.启动脚本: $HIVE_HOME/bin/hive --> $HIVE_HOME/bin/ext/cli.sh 可以看到入口类org.apache.hadoop.hive.cli.CliDriver2.入口类:org.apache.hadoop.hive.cli.CliDriver(1) 参数解析OptionsProcessor( -f -hiveconf ...

2018-06-17 16:16:41 861

转载 Hive之COUNT DISTINCT优化

问题描述COUNT(DISTINCT xxx)在hive中很容易造成数据倾斜。针对这一情况，网上已有很多优化方法，这里不再赘述。但有时，“数据倾斜”又几乎是必然的。我们来举个例子：假设表detail_sdk_session中记录了访问某网站M的客户端会话信息，即：如果用户A打开app客户端，则会产生一条会话信息记录在该表中，该表的粒度为“一次”会话，其中每次会话都记录了用户的唯一标示u...

2018-06-17 15:20:12 9851 1

转载 Hive中Join的原理和机制

笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。本文简单介绍一下两种join的原理和机制。Hive Common Join如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join,即：在Reduce阶段完成join. 整个过程包含Ma...

2018-06-17 15:11:45 312

转载 Yarn下Mapreduce的内存参数理解

简述Container就是一个yarn的java进程，在Mapreduce中的AM，MapTask，ReduceTask都作为Container在Yarn的框架上执行，你可以在RM的网页上看到Container的状态。Yarn的ResourceManger（简称RM）通过逻辑上的队列分配内存，CPU等资源给application。资源的分配数量由配置项和计算请求决定的。这里学习一下部分参数...

2018-06-17 15:06:02 1115

wayblink的博客