
Hive
文章平均质量分 93
lightupworld
这个作者很懒,什么都没留下…
展开
-
[Work]—Hive常用命令及问题
记录工作中Hive方面的常用命令和问题一、常用命令一、常用命令1.查看文件路径进入hive客户端:dfs -ls 路径dfs -ls oss://xxx/xxx/xxx/dt=2020-08-04不进入hive客户端: hadoop fs -ls 或者 hdfs dfs -lshadoop fs -ls oss://xxx/xxx/xxx/dt=2020-08-042.查看文件大小进入hive客户端:dfs -du -h 路径dfs -du -h oss://x原创 2020-08-04 17:29:41 · 319 阅读 · 0 评论 -
Hive复杂日志数据类型的存储与解析
Hive复杂日志数据类型的存储与解析一、背景二、场景一1.日志格式2.Hive存储一、背景实际工作中会遇到很多复杂数据类型,尤其是离线日志中的嵌套json,本文列举几种常见的复杂格式,同时给出存储和解析方法。二、场景一1.日志格式给出两条日志数据如下:{ "device_id":"1", "event_name":"people", "event_values": "{ "search_word":"hui", "search_res":[192061100,819430原创 2020-09-24 17:21:25 · 906 阅读 · 0 评论 -
Hive Sql中六种面试题型总结
Hive面试/经典练习题一、N日留存1.思路分析二、连续登陆1.数据准备2.思路分析三、 Top N一、N日留存1.思路分析按天留存率计算 就是指用户在首日新增后,在接下来的后推第N天活跃情况,用后推第N天活跃的用户 / 首日新增用户。就得到后推第N天的新增用户留存率。 留存率计算案例 1月1日,新增用户200人; 次日留存:第2天,1月2日,这200人里面有100人活跃,则次日留存率为: 100 / 200 = 50% 2日留存:第3天,1月3日;这200名新原创 2020-09-14 18:49:11 · 12186 阅读 · 10 评论 -
Hive窗口分析函数(案例详细讲解)
Hive窗口分析函数一、语法结构二、窗口函数三、Over从句四、分析函数五、COUNT、SUM、MIN、MAX、AVG详解1.数据准备参考资料一、语法结构分析函数 over(partition by 列名 order by 列名 rows between 开始位置 and 结束位置)over()函数中包括三个函数:包括分区partition by 列名、排序order by 列名、指定窗口范围rows between 开始位置 and 结束位置。我们在使用over()窗口函数时,over()函数中原创 2020-09-10 20:07:03 · 3323 阅读 · 0 评论