Hive实现累计报表查询

1.需求

有如下访客访问次数的统计表 t_access
访客	月份	访问次数
A	2015-01	5
A	2015-01	15
B	2015-01	5
A	2015-01	8
B	2015-01	25
A	2015-01	5
A	2015-02	4
A	2015-02	6
B	2015-02	10
B	2015-02	5
……	……	……

要求输出每个客户在每个月的总访问次数,以及在当前月份之前所有月份的累积访问次数。
输出表

访客	月份	月访问总计	累计访问总计
A	2015-01	33	33
A	2015-02	10	43
…….	…….	…….	…….
B	2015-01	30	30
B	2015-02	15	45
…….	…….	…….	…….

2.思路

1)第一步,先求每个用户的月总访问次数
select username,month,sum(count) as salary from t_access_times group by username,month
+-----------+----------+---------+--+
| username  |  month   | count   |
+-----------+----------+---------+--+
| A         | 2015-01  | 33      |
| A         | 2015-02  | 10      |
| B         | 2015-01  | 30      |
| B         | 2015-02  | 15      |
+-----------+----------+---------+--+
2)第二步,将月总访问次数表 自己连接 自己连接(内连接)
(select username,month,sum(count) as salary from t_access_times group by username,month) A 
join 
(select username,month,sum(count) as salary from t_access_times group by username,month) B
on 
A.username=B.username
+-------------+----------+-----------+-------------+----------+-----------+--+
| a.username  | a.month  | a.salary  | b.username  | b.month  | b.salary  |
+-------------+----------+-----------+-------------+----------+-----------+--+
| A           | 2015-01  | 33        | A           | 2015-01  | 33        |
| A           | 2015-01  | 33        | A           | 2015-02  | 10        |
| A           | 2015-02  | 10        | A           | 2015-01  | 33        |
| A           | 2015-02  | 10        | A           | 2015-02  | 10        |
| B           | 2015-01  | 30        | B           | 2015-01  | 30        |
| B           | 2015-01  | 30        | B           | 2015-02  | 15        |
| B           | 2015-02  | 15        | B           | 2015-01  | 30        |
| B           | 2015-02  | 15        | B           | 2015-02  | 15        |
+-------------+----------+-----------+-------------+----------+-----------+--+

3)第三步,从上一步的结果中进行分组查询,分组的字段是a.username a.month,求月累计值:  将b.month <= a.month的所有b.salary求和即可

3.HQL

select A.username,A.month,max(A.count) ,sum(B.count) 
from 
(select username,month,sum(count) as count from t_accessgroup by username,month) A 
inner join 
(select username,month,sum(count) as count from t_access group by username,month) B
on
A.username=B.username
where B.month <= A.month
group by A.username,A.month
order by A.username,A.month;


  • 3
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
### 回答1: 当您在Hive实现递归查询时,可以使用Common Table Expressions(CTE)或子查询来编写SQL查询。 以下是使用CTE来实现递归查询的示例: WITH RECURSIVE employee_hierarchy AS ( SELECT employee_id, employee_name, manager_id FROM employee WHERE employee_id = 1 -- Starting employee UNION ALL SELECT e.employee_id, e.employee_name, e.manager_id FROM employee e JOIN employee_hierarchy eh ON e.manager_id = eh.employee_id ) SELECT * FROM employee_hierarchy; 在上面的示例中,我们使用了一个CTE名为employee_hierarchy,它具有递归定义。该定义的基本部分是从employee表中选择起始员工(在此示例中为employee_id = 1),并将其放入结果集中。然后,我们使用JOIN将结果集中的员工与其经理相匹配,并将其加入到结果集中,直到不再有经理为止。 您还可以使用子查询实现递归查询,如下所示: SELECT employee_id, employee_name, manager_id FROM ( SELECT employee_id, employee_name, manager_id FROM employee WHERE employee_id = 1 -- Starting employee UNION ALL SELECT e.employee_id, e.employee_name, e.manager_id FROM employee e JOIN ( SELECT employee_id, employee_name, manager_id FROM employee ) eh ON e.manager_id = eh.employee_id ) employee_hierarchy; 在这个例子中,我们使用了一个子查询来模拟递归。子查询部分包含相同的逻辑,即从employee表中选择起始员工并将其放入结果集中,然后通过JOIN将其经理加入到结果集中,直到不再有经理为止。最后,我们在外部查询中选择子查询的结果集。 以上是使用Hive实现递归查询的两种方法。无论使用哪种方法,都需要确保查询语句具有正确的递归定义,以便避免无限递归和死循环。 ### 回答2: Hive是一种在Hadoop生态系统中运行的数据仓库解决方案,它使用类似于SQL的查询语言(HiveQL)来处理和分析大规模结构化数据。 Hive查询语言中支持CTE(公共表表达式),这使得在Hive实现递归查询变得可能。递归查询是一种在查询结果中使用一种递增的方式来引用同一张表或视图的查询。 要在Hive实现递归查询,我们可以使用WITH RECURSIVE关键字来定义递归查询。这样的查询通常包括两部分:基本查询和递归部分。 基本查询是初始查询的部分,它是定义递归查询的起点。递归部分是在基本查询的结果上逐步递增的查询部分。 以下是一个使用Hive实现递归查询的示例: WITH RECURSIVE recursive_query AS ( -- 基本查询 SELECT column1, column2 FROM table_name WHERE condition UNION ALL -- 递归部分 SELECT column1, column2 FROM table_name WHERE condition JOIN recursive_query ON table_name.column = recursive_query.column ) -- 最终查询 SELECT * FROM recursive_query; 在这个例子中,我们定义了一个名为recursive_query的递归查询。基本查询部分从表table_name中选择column1和column2,并且满足特定条件。递归部分再次选择相同的列,然后使用JOIN子句将它与递归查询的结果连接起来。 最终查询部分是对递归查询结果执行的最终SELECT语句。 总结起来,使用Hive可以通过使用CTE和WITH RECURSIVE关键字来实现递归查询。这使得在大规模结构化数据中进行复杂查询变得更加容易。 ### 回答3: Hive是一个基于Hadoop的数据仓库工具,它可以用于存储和处理大规模数据集。虽然Hive不直接支持递归查询,但我们可以通过编写自定义函数来实现递归查询的功能。 首先,我们需要创建一个自定义函数。自定义函数是指在Hive中定义的可以用于执行特定任务的函数。我们可以使用Java或Python来编写自定义函数。 接下来,我们需要定义一个递归函数,该函数将在查询中使用。递归函数应该接受一个参数作为输入,并返回一个结果。在函数内部,我们可以使用递归的方式来处理数据。 在查询中,我们可以使用WITH RECURSIVE关键字来指定递归查询。递归查询是一种在SQL中定义递归关系的方法。我们可以在递归查询中使用自定义函数来处理数据。 下面是一个示例,演示如何在Hive实现递归查询SQL。 首先,创建一个自定义函数: ``` CREATE FUNCTION my_recursive_function(input STRING) RETURNS STRING ``` 然后,编写递归函数的代码: ``` public class MyRecursiveFunction extends UDF { public String evaluate(String input) { // 递归处理数据的代码 } } ``` 接下来,注册自定义函数: ``` ADD JAR /path/to/jar/my_recursive_function.jar; CREATE TEMPORARY FUNCTION my_recursive_function AS 'com.example.MyRecursiveFunction'; ``` 最后,使用递归查询进行数据查询: ``` WITH RECURSIVE recursive_query AS ( SELECT my_recursive_function('input') AS result UNION ALL SELECT my_recursive_function(result) AS result FROM recursive_query WHERE result <> 'end' ) SELECT * FROM recursive_query; ``` 在这个示例中,我们首先定义了一个自定义函数`my_recursive_function`,然后在递归查询中使用该函数来处理数据。通过递归查询,我们可以持续地处理数据,直到满足退出条件。 总结起来,虽然Hive本身不直接支持递归查询,但通过编写自定义函数并在递归查询中使用它们,我们可以在Hive实现递归查询的功能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值