Hive第五天

最新推荐文章于 2024-11-16 21:07:02 发布
最新推荐文章于 2024-11-16 21:07:02 发布
阅读量290 收藏 9
点赞数 5
文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a_black03/article/details/140771441
版权


1.去重
    去重有两种操作：
        1.通过distinct将某列数据进行去重
        2.可以通过GROUP BY对数据进行去重，可以通过设置reduce数量 提高执行速度

2.合理设置Reduce数
    1）调整reduce个数方法一
    （1）每个Reduce处理的数据量默认是256MB
    hive.exec.reducers.bytes.per.reducer=256000000
    （2）每个任务最大的reduce数，默认为1009
    hive.exec.reducers.max=1009
    （3）计算reducer数的公式
    N=min(参数2，总输入数据量/参数1)
    2）调整reduce个数方法二
    在hadoop的mapred-default.xml文件中修改
    设置每个job的Reduce个数
    set mapreduce.job.reduces = 15;
    3）reduce个数并不是越多越好
    （1）过多的启动和初始化reduce也会消耗时间和资源；
    （2）另外，有多少个reduce，就会有多少个输出文件，如果生成了很多个小文件，那么如果这些小文件作为下一个任务的输入，则也会出现小文件过多的问题；
    在设置reduce个数的时候也需要考虑这两个原则：处理大数据量利用合适的reduce数；使单个reduce任务处理数据量大小要合适；

3.Hive可以通过设置防止一些危险操作：
1）分区表不使用分区过滤
   将hive.strict.checks.no.partition.filter设置为true时，对于分区表，除非where语句中含有分区字段过滤条件来限制范围，否则不允许执行。换句话说，就是用户不允许扫描所有分区。进行这个限制的原因是，通常分区表都拥有非常大的数据集，而且数据增加迅速。没有进行分区限制的查询可能会消耗令人不可接受的巨大资源来处理这个表。
2）使用order by没有limit过滤
  将hive.strict.checks.orderby.no.limit设置为true时，对于使用了order by语句的查询，要求必须使用limit语句。因为order by为了执行排序过程会将所有的结果数据分发到同一个Reducer中进行处理，强制要求用户增加这个LIMIT语句可以防止Reducer额外执行很长一段时间。
3）笛卡尔积
  将hive.strict.checks.cartesian.product设置为true时，会限制笛卡尔积的查询。对关系型数据库非常了解的用户可能期望在 执行JOIN查询的时候不使用ON语句而是使用where语句，这样关系数据库的执行优化器就可以高效地将WHERE语句转化成那个ON语句。不幸的是，Hive并不会执行这种优化，因此，如果表足够大，那么这个查询就会出现不可控的情况。


4. 列出每个部门薪水前两名最高的人员名称以及薪水。


create table emp(
    EMPNO int
    ,ENAME string
    ,JOB string
    ,MGR int
    ,HIREDATE string
    ,SAL int
    ,BONUS int
    ,DEPTNO int
) 
row format delimited
fields terminated by ',';


  ①维度 部门
  ②部门下的薪水排名前两名

WITH emp_sal_pm AS (
SELECT
T1.DEPTNO
,T1.ENAME
,T1.SAL
,ROW_NUMBER() OVER(PARTITION BY T1.DEPTNO ORDER BY T1.SAL DESC) as sal_pm
FROM emp T1
)
SELECT 
T2.ENAME
,T2.SAL
FROM emp_sal_pm T2 
WHERE T2.sal_pm <=2

5.连续登录问题

    如何去分析数据：
            1.查看数据的字段信息
            2.需要查看每一行数据代表什么意思


create table learn5.deal_tb(
    id string
    ,datestr string
    ,amount string
)row format delimited fields terminated by ',';

load data local inpath "/usr/local/soft/hive-3.1.2/data/deal_tb.txt" into table learn5.deal_tb;

需求：
        统计用户连续交易的总额、连续登陆天数、连续登陆开始和结束时间、间隔天数等

    连续交易的总额分析：
        ①什么是连续交易？
                用户每天都在交易

WITH sum_amount_table AS(
SELECT
T.id
,T.datestr
,SUM(amount) as sum_amount
FROM learn5.deal_tb T
GROUP BY T.id,T.datestr
)

SELECT
id
,datestr
,sum_amount
, ROW_NUMBER() OVER(PARTITION BY id ORDER BY datestr) days
FROM sum_amount_table

+-----+-------------+-------------+-------+
| id  |   datestr   | sum_amount  | days  |
+-----+-------------+-------------+-------+
| 1   | 2019-02-08  | 12461.55    | 1     |
| 1   | 2019-02-09  | 1052.99     | 2     |
| 1   | 2019-02-10  | 85.69       | 3     |
| 1   | 2019-02-12  | 769.85      | 4     |
| 1   | 2019-02-13  | 943.86      | 5     |
| 1   | 2019-02-14  | 538.42      | 6     |
| 1   | 2019-02-15  | 369.76      | 7     |
| 1   | 2019-02-16  | 369.76      | 8     |
| 1   | 2019-02-18  | 795.15      | 9     |
| 1   | 2019-02-19  | 715.65      | 10    |
| 1   | 2019-02-21  | 537.71      | 11    |
| 2   | 2019-02-08  | 12461.55    | 1     |
| 2   | 2019-02-09  | 1052.99     | 2     |
| 2   | 2019-02-10  | 85.69       | 3     |
| 2   | 2019-02-12  | 769.85      | 4     |
| 2   | 2019-02-13  | 943.86      | 5     |
| 2   | 2019-02-14  | 943.18      | 6     |
| 2   | 2019-02-15  | 369.76      | 7     |
| 2   | 2019-02-18  | 795.15      | 8     |
| 2   | 2019-02-19  | 715.65      | 9     |
| 2   | 2019-02-21  | 537.71      | 10    |
| 3   | 2019-02-08  | 12461.55    | 1     |
| 3   | 2019-02-09  | 1052.99     | 2     |
| 3   | 2019-02-10  | 85.69       | 3     |
| 3   | 2019-02-12  | 769.85      | 4     |
| 3   | 2019-02-13  | 943.86      | 5     |
| 3   | 2019-02-14  | 276.81      | 6     |
| 3   | 2019-02-15  | 369.76      | 7     |
| 3   | 2019-02-16  | 369.76      | 8     |
| 3   | 2019-02-18  | 795.15      | 9     |
| 3   | 2019-02-19  | 715.65      | 10    |
| 3   | 2019-02-21  | 537.71      | 11    |
+-----+-------------+-------------+-------+


Reduce() :
2019-02-07   2019-02-08,2019-02-09,2019-02-10 
+-----+-------------+-------------+-------+-------------+
| id  |   datestr   | sum_amount  | days  |  start_day  |
+-----+-------------+-------------+-------+-------------+

| 1   | 2019-02-08  | 12461.55    | 1     | 2019-02-07  |
| 1   | 2019-02-09  | 1052.99     | 2     | 2019-02-07  |
| 1   | 2019-02-10  | 85.69       | 3     | 2019-02-07  |
| 1   | 2019-02-12  | 769.85      | 4     | 2019-02-08  |
| 1   | 2019-02-13  | 943.86      | 5     | 2019-02-08  |
| 1   | 2019-02-14  | 538.42      | 6     | 2019-02-08  |
| 1   | 2019-02-15  | 369.76      | 7     | 2019-02-08  |
| 1   | 2019-02-16  | 369.76      | 8     | 2019-02-08  |
| 1   | 2019-02-18  | 795.15      | 9     | 2019-02-09  |
| 1   | 2019-02-19  | 715.65      | 10    | 2019-02-09  |
| 1   | 2019-02-21  | 537.71      | 11    | 2019-02-10  |
| 2   | 2019-02-08  | 12461.55    | 1     | 2019-02-07  |
| 2   | 2019-02-09  | 1052.99     | 2     | 2019-02-07  |
| 2   | 2019-02-10  | 85.69       | 3     | 2019-02-07  |
| 2   | 2019-02-12  | 769.85      | 4     | 2019-02-08  |
| 2   | 2019-02-13  | 943.86      | 5     | 2019-02-08  |
| 2   | 2019-02-14  | 943.18      | 6     | 2019-02-08  |
| 2   | 2019-02-15  | 369.76      | 7     | 2019-02-08  |
| 2   | 2019-02-18  | 795.15      | 8     | 2019-02-10  |
| 2   | 2019-02-19  | 715.65      | 9     | 2019-02-10  |
| 2   | 2019-02-21  | 537.71      | 10    | 2019-02-11  |
| 3   | 2019-02-08  | 12461.55    | 1     | 2019-02-07  |
| 3   | 2019-02-09  | 1052.99     | 2     | 2019-02-07  |
| 3   | 2019-02-10  | 85.69       | 3     | 2019-02-07  |
| 3   | 2019-02-12  | 769.85      | 4     | 2019-02-08  |
| 3   | 2019-02-13  | 943.86      | 5     | 2019-02-08  |
| 3   | 2019-02-14  | 276.81      | 6     | 2019-02-08  |
| 3   | 2019-02-15  | 369.76      | 7     | 2019-02-08  |
| 3   | 2019-02-16  | 369.76      | 8     | 2019-02-08  |
| 3   | 2019-02-18  | 795.15      | 9     | 2019-02-09  |
| 3   | 2019-02-19  | 715.65      | 10    | 2019-02-09  |
| 3   | 2019-02-21  | 537.71      | 11    | 2019-02-10  |
+-----+-------------+-------------+-------+-------------+

WITH sum_amount_table AS(
SELECT
T.id
,T.datestr
,SUM(amount) as sum_amount
FROM learn5.deal_tb T
GROUP BY T.id,T.datestr
)
, days_table AS (
SELECT
id
,datestr
,sum_amount
, ROW_NUMBER() OVER(PARTITION BY id ORDER BY datestr) days
FROM sum_amount_table
)
, date_sub_table AS(
SELECT
id
,datestr
,sum_amount
,days
,date_sub(datestr,days) start_day  --通过日期减去排序得到日期开始的天
FROM days_table
)
--连续登陆天数、连续登陆开始和结束时间
INSERT INTO TABLE  continue_res 
SELECT
id
,start_day
,sum(sum_amount) as continue_amount  -- 通过对起始天数一致的数据进行分组统计得到 连续交易的总额
,count(*) AS continue_days
,min(datestr) AS continue_start
,max(datestr) as continue_end
FROM date_sub_table
GROUP BY id,start_day

CREATE TABLE continue_res (
id string 
,start_day STRING
,  continue_amount  STRING
,  continue_days STRING
,  continue_start STRING
, continue_end STRING
)


SELECT
id
,continue_end
,LEAD(continue_start,1,current_date) OVER(PARTITION BY id ORDER BY start_day) as last_day
FROM continue_res

+-----+-------------+---------------------+----------------+-----------------+--------------                                -+
| id  |  start_day  |   continue_amount   | continue_days  | continue_start  | continue_end                                  |
+-----+-------------+---------------------+----------------+-----------------+--------------                                -+
| 1   | 2019-02-07  | 13600.23            | 3              | 2019-02-08      | 2019-02-10                                    |
| 1   | 2019-02-08  | 2991.6500000000005  | 5              | 2019-02-12      | 2019-02-16                                    |
| 1   | 2019-02-09  | 1510.8              | 2              | 2019-02-18      | 2019-02-19                                    |
| 1   | 2019-02-10  | 537.71              | 1              | 2019-02-21      | 2019-02-21                                    |
| 2   | 2019-02-07  | 13600.23            | 3              | 2019-02-08      | 2019-02-10                                    |
| 2   | 2019-02-08  | 3026.6499999999996  | 4              | 2019-02-12      | 2019-02-15                                    |
| 2   | 2019-02-10  | 1510.8              | 2              | 2019-02-18      | 2019-02-19                                    |
| 2   | 2019-02-11  | 537.71              | 1              | 2019-02-21      | 2019-02-21                                    |
| 3   | 2019-02-07  | 13600.23            | 3              | 2019-02-08      | 2019-02-10                                    |
| 3   | 2019-02-08  | 2730.04             | 5              | 2019-02-12      | 2019-02-16                                    |
| 3   | 2019-02-09  | 1510.8              | 2              | 2019-02-18      | 2019-02-19                                    |
| 3   | 2019-02-10  | 537.71              | 1              | 2019-02-21      | 2019-02-21                                    |
+-----+-------------+---------------------+----------------+-----------------+--------------                                -+

-- 间隔天数
LAG(col,n,default_val)：往前第n行数据 
LEAD(col,n, default_val)：往后第n行数据

SELECT
T1.id
,T1.continue_end
,T1.last_day
,datediff(T1.last_day,T1.continue_end)
FROM (
SELECT
id
,continue_end
,LEAD(continue_start,1,"2022-04-15") OVER(PARTITION BY id ORDER BY start_day) as last_day
FROM learn5.continue_res
) T1

6.设备异常需求：

create table learn5.base_vio_sbbh(
sbbh STRING COMMENT "设备编号",
wfsj STRING COMMENT "违法时间"
);

通过 base_vio_sbbh.sql的语句 将数据插入至HIVE中

-- 需求说明：若某设备一段时间均无违法数据上报，则认为该设备可能异常。

分析：
    1.将每个设备的违法时间进行排列 
    2.计算上下两行之间时间差是多少
    3.对时间差进行排序

    4.通过箱线图进行异常值的判定

        Q1:下四分位数(Q1): 当前排列的所有数据的 1/4 位置
        Q3:上四分位数(Q3)： 当前排列的所有数据的 3/4 位置
        
        IQR:四分位間距（interquartile range，簡稱IQR）=(Q3-Q1): 拿 Q3 和 Q1 对应的值进行相见

        箱形图为我们提供了识别异常值的一个标准：
                    异常值被定义为小于 Q1－1.5IQR或大于Q3+1.5IQR的值。虽然这种标准有点任意性，但它来源于经验判断
                    小于 Q1-1.5(Q3-Q1) 或者 大于 Q3+1.5(Q3-Q1)


+---------------------+-------------+-----+
|        sbbh         |    wfsj     | pm  |
+---------------------+-------------+-----+
| 451000000000071113  | 2020-04-13  | 1   |         2020-04-22  | 2   |
| 451000000000071113  | 2020-04-22  | 2   |    2020-05-13  | 3   |
| 451000000000071113  | 2020-05-13  | 3   |
| 451000000000071113  | 2020-05-18  | 4   |
| 451000000000071113  | 2020-06-14  | 5   |
| 451000000000071113  | 2020-06-15  | 6   |
| 451000000000071113  | 2020-06-16  | 7   |
| 451000000000071113  | 2020-06-18  | 8   |
| 451000000000071113  | 2020-06-23  | 9   |
| 451000000000071113  | 2020-06-28  | 10  |
| 451000000000071113  | 2020-06-29  | 11  |
| 451000000000071113  | 2020-07-02  | 12  |
| 451000000000071113  | 2020-07-07  | 13  |
| 451000000000071113  | 2020-07-09  | 14  |
| 451000000000071113  | 2020-07-22  | 15  |
| 451000000000071113  | 2020-07-26  | 16  |
| 451000000000071113  | 2020-07-28  | 17  |
| 451000000000071113  | 2020-07-30  | 18  |
| 451000000000071113  | 2020-08-01  | 19  |
| 451000000000071113  | 2020-08-02  | 20  |
| 451000000000071113  | 2020-08-03  | 21  |
| 451000000000071113  | 2020-08-05  | 22  |
| 451000000000071113  | 2020-08-06  | 23  |
| 451000000000071113  | 2020-08-08  | 24  |
| 451000000000071113  | 2020-08-09  | 25  |
| 451000000000071113  | 2020-08-11  | 26  |
| 451000000000071113  | 2020-08-12  | 27  |
| 451000000000071113  | 2020-08-13  | 28  |
| 451000000000071113  | 2020-08-14  | 29  |
| 451000000000071113  | 2020-08-19  | 30  |
| 451000000000071113  | 2020-08-20  | 31  |
| 451000000000071113  | 2020-08-21  | 32  |
| 451000000000071113  | 2020-08-28  | 33  |
| 451000000000071113  | 2020-09-02  | 34  |
| 451000000000071113  | 2020-09-03  | 35  |
| 451000000000071113  | 2020-09-05  | 36  |
| 451000000000071113  | 2020-09-11  | 37  |
| 451000000000071113  | 2020-09-24  | 38  |
| 451000000000071113  | 2020-09-27  | 39  |
| 451000000000071113  | 2020-09-28  | 40  |
| 451000000000071113  | 2020-09-30  | 41  |
| 451000000000071113  | 2020-10-01  | 42  |
| 451000000000071113  | 2020-10-02  | 43  |

CREATE TABLE learn5.mid_sbbh_yczpx(
sbbh STRING
,last_wfsj STRING
,after_wfsj  STRING
,sjc int
)


WITH sbbh_wfsj_pm AS (
SELECT
sbbh
,wfsj
,ROW_NUMBER() OVER(PARTITION BY sbbh ORDER BY wfsj) as pm
FROM learn5.base_vio_sbbh 
)
INSERT OVERWRITE TABLE learn5.mid_sbbh_yczpx
SELECT
T1.sbbh
,T1.wfsj
,if(T2.wfsj is NULL,"2021-01-01",T2.wfsj) -- LEFT JION 之后 T2.wfsj有null值 也可以使用NVL函数
,datediff(NVL(T2.wfsj,"2021-01-01"),T1.wfsj) sjc
-- 通过设备编号与排名进行自关联操作
FROM sbbh_wfsj_pm T1 LEFT JOIN sbbh_wfsj_pm T2 ON T1.pm + 1 = T2.pm AND T1.sbbh = T2.sbbh
ORDER BY sjc desc

+---------------------+----------------+-----------------+-------------+-------------+
|      _u1.sbbh       | _u1.last_wfsj  | _u1.after_wfsj  | _u1.q1_sjc  | _u1.q3_sjc  |
+---------------------+----------------+-----------------+-------------+-------------+
| 451000000000071113  | 2020-06-18     | 2020-06-23      | 5           | NULL        |
| 451000000000072222  | 2020-08-14     | 2020-08-19      | 5           | NULL        |
| 451000000000071113  | 2020-06-28     | 2020-06-29      | NULL        | 1           |
| 451000000000072222  | 2020-08-13     | 2020-08-14      | NULL        | 1           |
+---------------------+----------------+-----------------+-------------+-------------+


| 451000000000071113  | 2020-06-18     | 2020-06-23      | 5           | 1        |
| 451000000000072222  | 2020-08-13     | 2020-08-14      | 5             | 1        |


CREATE TABLE learn5.mid_sbbh_Q_sjc(
sbbh STRING,
Q1_sjc int,
Q3_sjc int
)

WITH Q_num_table AS (
SELECT
sbbh
,floor(count(*) * 0.75)  AS Q1_num 
,floor(count(*) * 0.25) AS  Q3_num 
FROM learn5.mid_sbbh_yczpx 
GROUP BY sbbh
)
, sbbh_sjc_num_table AS (
SELECT
sbbh 
,last_wfsj 
,after_wfsj 
,sjc 
,ROW_NUMBER() OVER(PARTITION BY sbbh ORDER BY sjc desc) as sjc_num
FROM learn5.mid_sbbh_yczpx 
)
INSERT OVERWRITE TABLE learn5.mid_sbbh_Q_sjc
SELECT
TT.sbbh
,SUM(TT.Q1_sjc) as Q1_sjc
,SUM(TT.Q3_sjc) as Q3_sjc
FROM (
SELECT
T2.sbbh
,T2.last_wfsj
,T2.after_wfsj
,T2.sjc as Q1_sjc
,null as Q3_sjc
FROM Q_num_table T1 JOIN sbbh_sjc_num_table T2 ON T1.sbbh = T2.sbbh 
AND T1.Q1_num = T2.sjc_num
UNION ALL
SELECT
T2.sbbh
,T2.last_wfsj
,T2.after_wfsj
,null as Q1_sjc
,T2.sjc as Q3_sjc
FROM Q_num_table T1 JOIN sbbh_sjc_num_table T2 ON T1.sbbh = T2.sbbh 
AND T1.Q3_num = T2.sjc_num
) TT
GROUP BY TT.sbbh


-- 小于 Q1-1.5(Q3-Q1) 或者 大于 Q3+1.5(Q3-Q1)
SELECT
T2.*
,T1.Q1_sjc
,T1.Q3_sjc
,T1.Q1_sjc-(Q3_sjc-Q1_sjc)*1.5
,T1.Q3_sjc+(Q3_sjc-Q1_sjc)*1.5
FROM learn5.mid_sbbh_Q_sjc T1 JOIN learn5.mid_sbbh_yczpx T2 ON T1.sbbh = T2.sbbh 
WHERE
T2.sjc > (T1.Q3_sjc+(T1.Q3_sjc-T1.Q1_sjc)*1.5)


 
7. 开启本地模式
    -- 一般用来测试，如果数据量比较大 不建议使用该参数 ，设置该参数以后 使用的资源是当前客户端的计算资源 非集群资源
    set hive.exec.mode.local.auto=true; 

8.数据仓库建模
    

小黑03
关注
Hive第五天——Hive函数（URL解析函数）
你怎么回事
09-26 1992
本文部分参考自：https://blog.csdn.net/qq_23897391/article/details/95303594 Hive第五天——Hive函数 自己的话：千里之行，始于足下。 每天都要保持前进，我势必要有强劲的实力，再跟明天的自己问好。 URL解析函数 在工作中，我们除了JSON格式还会经常遇到URL格式的日志数据，本文来详细介绍在Hive中解析URL的函数： 1.par...
Hive第五天——Hive函数（JSON解析函数）
你怎么回事
09-26 1111
本文部分参考自：https://blog.csdn.net/qq_23897391/article/details/95091712 Hive第五天——Hive函数 自己的话：千里之行，始于足下。 每天都要保持前进，我势必要有强劲的实力，再跟明天的自己问好。 Json函数解析 在工作中我们会经常遇到JSON格式的日志数据，本文来详细介绍在Hive中解析JSON字符串的函数： 1.get_jso...
Hive第一天——Hive介绍以及简单使用
你怎么回事
09-23 1388
Hive第二天——Hive介绍以及简单使用 自己的话：黑发不知勤学早，白首方悔读书迟 每天都要保持前进！ 一、什么是Hive 数据库： mysql、oracle、sqlserver、DB2、sqlite、MDB 数据仓库： Hive，是MR的客户端，也就是说不必要每台机器都安装部署Hive HIVE是一个可以将sql翻译为MR程序的工具 HIVE支持用户将HDFS上的文件映射为表结构，然后用户就可...
hive获取本周第几天
鸭梨的博客
03-25 1022
2.2 以下版本 select date_format(from_unixtime(unix_timestamp('20210325','yyyyMMdd'),'yyyy-MM-dd'),'u') 或者 select date_format(concat_ws('-', substr('20210325', 0, 4), substr('20210325', 5, 2), substr('20210325', 7, 2)),'u')
Hive第四天——Hive函数（常用数学函数与字符串函数）
你怎么回事
09-25 1437
本文参考自：https://blog.csdn.net/qq_23897391/article/details/94715278 Hive—常用数学函数与常见字符串函数 一、常见数学函数 1.四舍五入 round round(DOUBLE a) 功能：传入DOUBLE类型的参数a，返回对a四舍五入的整数值，但返回的数据类型是DOUBLE，所以会有 .0 hive (app)> selec...
Hive第七天——Hive函数（开窗函数之组内排序）
你怎么回事
09-28 2469
本文部分参考自：https://blog.csdn.net/qq_23897391/article/details/100688796 Hive第七天——Hive函数 自己的话：千里之行，始于足下。 每天都要保持前进，我势必要有强劲的实力，再跟明天的自己问好。 开窗函数：组内排序 开窗函数的固定写法： over(partition by 列名1,列名2 …… order by 列名3,列名4...
Hive第六天——Hive函数（GROUP BY语句、HAVING语句、ORDER BY语句）
你怎么回事
09-27 7667
本文部分参考自：https://blog.csdn.net/qq_23897391/article/details/90897373 Hive第六天——Hive函数 自己的话：千里之行，始于足下。 每天都要保持前进，我势必要有强劲的实力，再跟明天的自己问好。 GROUP BY语句、HAVING语句、ORDER BY语句 一、GROUP BY语句 GROUP BY语句 表示按照某些字段的值进行...
hive获取某日期是今年第几天
山水青一人尤
09-30 3657
一、函数：datediff(string enddate,string startdate) 求开始和结束时间相差的天数 二、举例1：获取2021-08-01为今年的第几天 hive > select datediff('2021-08-01','2020-12-31'); OK _c0 213 Time taken: 0.767 seconds, Fetched: 1 row(s) 三、举例2：获取字段内的时间是当年的第几天 hive > select ds,datediff...
HIve安装配置（超详细）
热门推荐
W_chuanqi的博客
04-19 7万+
文章目录Hive安装配置一、Hive安装地址二、Hive安装部署1. 把 `apache-hive-3.1.2-bin.tar.gz`上传到Linux的/export/software目录下2. 解压`apache-hive-3.1.2-bin.tar.gz`到/export/servers/目录下面3. 修改`apache-hive-3.1.2-bin.tar.gz`的名称为hive4. 修改/etc/profile，添加环境变量5. 初始化元数据库（默认是derby数据库）三、MySQL安装1. 安装M
大数据第五天(操作hive的方式)
weixin_51885039的博客
04-23 1266
操作hive的方式
《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf
06-22
《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第...
Hive第五天——Hive函数（表生成函数：行转列）
你怎么回事
09-26 418
本文部分参考自：https://blog.csdn.net/qq_23897391/article/details/98724777 Hive第五天——Hive函数 自己的话：千里之行，始于足下。 每天都要保持前进，我势必要有强劲的实力，再跟明天的自己问好。 表生成函数（行转列） 一、表生成函数简介 在Hive中，所有的表生成函数，包括用户自定义的和内置的，都统称为用户自定义表生成函数（us...
Servlet的生命周期
wyk的博客
11-13 1332
Servlet 的生命周期包含四个主要阶段：加载与实例化、初始化、请求处理、销毁。开发者可以在这些生命周期方法中编写初始化、请求处理和资源清理的代码，确保 Web 应用程序的正常运行。
Flink整合Hive、Mysql、Hbase、Kafka
ABU009的博客
11-13 320
#Flink整合Hive、Mysql、Hbase、Kafka
Hive的数据导出
Yz9876的博客
11-14 367
数据导出的分类：1. 从hive表中导出本地文件系统中(目录、文件)2. 从hive表中导出hdfs文件系统中3. hive表中导出到其它hive表中。
spark 设置hive.exec.max.dynamic.partition不生效
mrye的博客
11-13 325
spark脚本和程序中设置ive.exec.max.dynamic.partition不生效。
hive搭建
qq_27275851的博客
11-13 451
hive数仓搭建
Hive1.2.1与Hbase1.4.13集成---版本不兼容问题
m0_73744583的博客
11-13 537
hive与hbase集成中遇到版本冲突问题，执行insert overwrite等命令频繁出错，不要怕，本文章将一步步教你如何解决
新版Servlet3.0~5.0和旧版配置的区别
最新发布
weixin_67996964的博客
11-16 179
定义 Servlet 的加载顺序，决定 Servlet 是在应用启动时加载还是在第一次请求时加载。如果不指定，默认使用 Servlet 的完整类名作为名称。：指定 Servlet 的 URL 映射路径，可以配置多个路径。旧版Servlet，在xml⾥面配置类目和路路径，⽐较不方便。简介：讲解新版Servlet和旧版Servlet配置的区别。新版Servelt，也就是3.0之后，⽀支持注解的方式。：指定 Servlet 的 URL 映射路径，和。：为 Servlet 配置初始参数，替代。
HIVE中取每月第一天的涵数
09-11
在Hive中，没有直接内置的函数可以直接获取某个日期每月的第一天，但你可以通过自定义日期算术和组合其他函数来实现这个功能。这里提供一种常见的做法，使用`date_add()`和`dayofmonth()`函数： ```sql SELECT date...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值