- 博客(5)
- 收藏
- 关注
RSS订阅原创 【数据库】Hive SQL--如何使用分位数函数（percentile）
在做一些酒店产量分析时，用到统计学中常用的分位数函数，所以就学习了一下分位数函数在HIVE中的应用。HIVE中有两个关于分为数的函数：percentile和percentile_approx。使用方式：percentile：percentile(col, p) col是要计算的列（值必须为int类型），p的取值为0-1，若为0.2，那么就是2分位数，依次类推。percentile_...
2018-08-29 16:56:53
117179
5
原创 【Python】实现Hive的UDF（案例）
构成一、Python脚本实现想要实现的功能。二、另外一个部分为HQL部分，调用Python脚本对数据进行处理。一、Python部分HQL调用Python实现的UDF其实有一个重定向的过程，Python编写的UDF其实是一个重定向的过程，将HIVE中的列读入到Pyhon中，按行操作，首先将每行按照指定的分隔符分开，一般为'\t'，然后对其进行操作，print需要的列，以'\t'分...
2018-08-27 20:32:45
7926
原创 【数据库】HIVE SQL几种排序函数（ROW_NUMBER&RANK&DENSE_RANK）
最初用排序函数时，只会用row_number，后来在网上一看，才知道由于场景不同，是有不同的函数的。作为一个总结，为以后的使用提供帮助。一、ROW_NUMBER 对于排序，使用较为广泛的函数就是row_number。据网上说可以用来实现web程序的分页，小白不懂开发，所以不知道如何来分页。但是，在hive中，它的用途还是很广泛的。row_number和over一起配对使用，每一行记录...
2018-08-21 13:42:51
23440
1
原创 【数据库】HIVE SQL--相邻时间问题处理
求每个员工的连续工作时间段及工资和select name, first1, last1,salary * (datediff(last1, first1)+1)as salary from (select name, num, salary, min(date) as first1, max(date) as last1 from (SELECT a.name, ...
2018-08-20 17:20:40
6008
原创 【数据库】HIVE SQL--增删改查方法
1：展示一个表的分区show partitions dw_htlbizdb.userlibrary_new结果：2: 查看一个job的原代码其中：d为分区，id为你要查看的job的idselect * from ods_zeus.ods_zeus_jobwhere d = '2017-09-28'and id = 16476结果：job的代码在script中...
2018-08-17 14:42:58
5477
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人