对hive的一点理解

最新推荐文章于 2022-07-16 08:08:02 发布
最新推荐文章于 2022-07-16 08:08:02 发布
阅读量441 收藏
点赞数

Hive 的collect_set使用详解

有这么一需求，在Hive中求出一个数据表中在某天内首次登陆的人;可以借助collect_set来处理sql:

select count(a.id)  from (select id,collect_set(time) as t from t_action_login where time<='20150906' group by id) as a where size(a.t)=1 and a.t[0]='20150906';  


上面中的

1. select id,collect_set(time) as t from t_action_login where time<='20150906' group by id  

会按照id分组，因为一个id可能对应一天也可能对应多天，对应多天表示有多天都有登陆，所以一个id会对应多个日期time,通过collect_set会把每个id所对应的日期构建成一个以逗号分隔的数组返回。上述SQL返回：

1.   123@163.com                             | ["20150620","20150619"]    |  

2. | abc@163.com                             | ["20150816"]   |  

3. | cde@qq.com                              | ["20150606","20150608","20150607","20150609","20150613","20150610","20150616","20150615"]                  |  

4. | 789@sohu.com                            | ["20150827","20150623","20150627","20150820","20150823","20150612","20150717"]                             |  

5. | 987@163.com                          | ["20150701","20150829","20150626","20150625","20150726","20150722","20150629","20150824","20150716","20150 |  

6. | ddsf@163.com                            | ["20150804","20150803","20150801","20150809","20150807","20150806","20150905","20150904","20150730","20150 |  

7. | 182@163.com                             |["20150803","20150801","20150809","20150808","20150805","20150806","20150906","20150904","20150730","20150 |  

8. | 22225@163.com                          | ["20150604","20150609","20150622","20150827","20150625","20150620","20150613","20150610","20150614","20150 |  

9. | 18697@qq.com                           | ["20150902"]     |  

10. | 1905@qq.com                            | ["20150709"]                                         

 

所以我们就可以按照这个返回的数组做文章，即为

where size(a.t)=1 and a.t[0]='20150906';  

表示某id所对应的数组长度为1 并且第一个时间为20150906的id表示为该天首次登陆。

总结：

1. Hive不允许直接访问非group by字段；

2. 对于非group by字段，可以用Hive的collect_set函数收集这些字段，返回一个数组；

3.使用数字下标，可以直接访问数组中的元素;

Hive分析窗口函数

GROUPING SETS,GROUPING__ID,CUBE,ROLLUP

hive 中的常用方法（ case ， cast ， unix_timestamp ）

1.case的用法

　　）格式1

case col

when value then ''

when value then ''

else 

''

end

)格式2

case

when col='value' then ''

when col='value' then ''

else

''

end

)举例

2.cast

　　作用：转换

)格式

cast(col as type)

)举例

create table catstest as select empno,ename,cast(sal as string) salary from emp;

3.unix_timestamp

　　作用：记录时间格式

　　　　　统计从1970年开始到现在的秒数

 

Hive中Join的类型和用法

关键字：Hive Join、Hive LEFT|RIGTH|FULL OUTER JOIN、Hive LEFT SEMI JOIN、Hive Cross Join

Hive中除了支持和传统数据库中一样的内关联、左关联、右关联、全关联，还支持LEFT SEMI JOIN和CROSS JOIN，但这两种JOIN类型也可以用前面的代替。

注意：Hive中Join的关联键必须在ON ()中指定，不能在where中指定，否则就会先做笛卡尔积，再过滤。

数据准备：

1. hive> desc lxw1234_a;

2. OK

3. id                      string                                      

4. name                    string                                      

5. Time taken: 0.094 seconds, Fetched: 2 row(s)

6. hive> select * from lxw1234_a;

7. OK

8. 1       zhangsan

9. 2       lisi

10. 3     wangwu

11. Time taken: 0.116 seconds, Fetched: 3 row(s)

12. hive> desc lxw1234_b;

13. OK

14. id                      string                                      

15. age                     int                                         

16. Time taken: 0.159 seconds, Fetched: 2 row(s)

17. hive> select * from lxw1234_b;

18. OK

19. 1       30

20. 2       29

21. 4       21

22. Time taken: 0.09 seconds, Fetched: 3 row(s)

10.1 内关联（JOIN）

只返回能关联上的结果。

1. SELECT a.id,  a.name,  b.age FROM lxw1234_a a join lxw1234_b b ON (a.id = b.id);

2. --执行结果 

1       zhangsan        30

2       lisi     29

10.2 左外关联（LEFT [OUTER] JOIN）

以LEFT [OUTER] JOIN关键字前面的表作为主表，和其他表进行关联，返回记录和主表的记录数一致，关联不上的字段置为NULL。

是否指定OUTER关键字，貌似对查询结果无影响。

1. SELECT a.id, a.name, b.age  FROM lxw1234_a a left join lxw1234_b b ON (a.id = b.id);

2. --执行结果：

1   zhangsan   30

2   lisi        29

3   wangwu    NULL


10.3 右外关联（RIGHT [OUTER] JOIN）

和左外关联相反，以RIGTH [OUTER] JOIN关键词后面的表作为主表，和前面的表做关联，返回记录数和主表一致，关联不上的字段为NULL。

是否指定OUTER关键字，貌似对查询结果无影响。

1. SELECT a.id, a.name, b.age FROM lxw1234_a a RIGHT OUTER JOIN lxw1234_b b ON (a.id = b.id);

2. --执行结果：

 1          zhangsan       30

 2          lisi       29

 NULL       NULL       21 

10.4 全外关联（FULL [OUTER] JOIN）

以两个表的记录为基准，返回两个表的记录去重之和，关联不上的字段为NULL。

是否指定OUTER关键字，貌似对查询结果无影响。

注意：FULL JOIN时候，Hive不会使用MapJoin来优化。

1. SELECT a.id,

2. a.name,

3. b.age

4. FROM lxw1234_a a

5. FULL OUTER JOIN lxw1234_b b

6. ON (a.id = b.id);

7.  

8. --执行结果：

9. 1       zhangsan         30

10. 2       lisi     29

11. 3       wangwu   NULL

12. NULL    NULL     21

13.  

10.5 LEFT SEMI JOIN

以LEFT SEMI JOIN关键字前面的表为主表，返回主表的KEY也在副表中的记录。

1. SELECT a.id,

2. a.name

3. FROM lxw1234_a a

4. LEFT SEMI JOIN lxw1234_b b

5. ON (a.id = b.id);

6.  

7. --执行结果：

8. 1       zhangsan

9. 2       lisi

11. --等价于：

12. SELECT a.id, a.name FROM lxw1234_a a WHERE a.id IN (SELECT id FROM lxw1234_b);

18. --也等价于：

19. SELECT a.id, a.name FROM lxw1234_a a join lxw1234_b b ON (a.id = b.id);

25. --也等价于：

26. SELECT a.id, a.name FROM lxw1234_a a WHERE EXISTS (SELECT 1 FROM lxw1234_b b WHERE a.id = b.id);


10.6 笛卡尔积关联（CROSS JOIN）

返回两个表的笛卡尔积结果，不需要指定关联键。

1. SELECT a.id,

2. a.name,

3. b.age

4. FROM lxw1234_a a

5. CROSS JOIN lxw1234_b b;

6.  

7. --执行结果：

8. 1       zhangsan        30

9. 1       zhangsan        29

10. 1       zhangsan        21

11. 2       lisi    30

12. 2       lisi    29

13. 2       lisi    21

14. 3       wangwu  30

15. 3       wangwu  29

16. 3 wangwu  21

17.  

Hive中的JOIN类型基本就是上面这些，至于JOIN时候使用哪一种，完全得根据实际的业务需求来定，但起码你要搞清楚这几种关联类型会返回什么样的结果。

除非特殊需求，并且数据量不是特别大的情况下，才可以慎用CROSS JOIN，否则，很难跑出正确的结果，或者JOB压根不能执行完。

经验告诉我，Hive中只要是涉及到两个表关联，首先得了解一下数据，看是否存在多对多的关联。

Hive条件判断

Hive条件判断 if,coalesce,case…when

· Hive条件判断 if coalesce case when

· 事例及说明

· IF Test Condition True Value False Value

· COALESCE value1value2

· CASE Statement

hive中可能会遇到根据判断不同值，产生对应结果的场景，有三种实现方式：

· 

IF( Test Condition, True Value, False Value )

· 

· 

COALESCE( value1,value2,… )

· 

· 

CASE Statement

· 

 

事例及说明

IF( Test Condition, True Value, False Value )

该语法只能用来判断单个条件，例如：

    select pd,

    if(ps_t='常年',1,0) as pt,

    ps_t

    from dgp limit 100;

COALESCE( value1,value2,… )

该函数用来获取参数列表中的首个非空值，若均为NULL，则返回NULL，例如：

    select 

    coalesce(NULL,NULL,5,NULL,1,0) as pt;

CASE Statement

该语法可以与某字段多个比较值的判断，并分别产生不同结果，与其他语言中case语法相似，例如：

    select pd,

    case pst

        when "常年" then 1 

        when "非常年" then 0

        else 0

    end

    as pt

    from dgp limit 100;

或：

    select pd,

    case

        when pst＝"常年" then 1 

        when pst＝"非常年" then 0

        else 0

    end

    as pt

    from dgp limit 100;

 

Hive分析窗口函数

GROUPING SETS,GROUPING__ID,CUBE,ROLLUP

这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数。

Hive版本为 apache-hive-0.13.1

数据准备：

[sql]  view plain  copy
  1. 2015-03,2015-03-10,cookie1  
  2. 2015-03,2015-03-10,cookie5  
  3. 2015-03,2015-03-12,cookie7  
  4. 2015-04,2015-04-12,cookie3  
  5. 2015-04,2015-04-13,cookie2  
  6. 2015-04,2015-04-13,cookie4  
  7. 2015-04,2015-04-16,cookie4  
  8. 2015-03,2015-03-10,cookie2  
  9. 2015-03,2015-03-10,cookie3  
  10. 2015-04,2015-04-12,cookie5  
  11. 2015-04,2015-04-13,cookie6  
  12. 2015-04,2015-04-15,cookie3  
  13. 2015-04,2015-04-15,cookie2  
  14. 2015-04,2015-04-16,cookie1  
  15.    
  16. CREATE EXTERNAL TABLE lxw1234 (  
  17. month STRING,  
  18. day STRING,   
  19. cookieid STRING   
  20. ) ROW FORMAT DELIMITED   
  21. FIELDS TERMINATED BY ','   
  22. stored as textfile location '/tmp/lxw11/';  
  23.    
  24.    
  25. hive> select * from lxw1234;  
  26. OK  
  27. 2015-03 2015-03-10      cookie1  
  28. 2015-03 2015-03-10      cookie5  
  29. 2015-03 2015-03-12      cookie7  
  30. 2015-04 2015-04-12      cookie3  
  31. 2015-04 2015-04-13      cookie2  
  32. 2015-04 2015-04-13      cookie4  
  33. 2015-04 2015-04-16      cookie4  
  34. 2015-03 2015-03-10      cookie2  
  35. 2015-03 2015-03-10      cookie3  
  36. 2015-04 2015-04-12      cookie5  
  37. 2015-04 2015-04-13      cookie6  
  38. 2015-04 2015-04-15      cookie3  
  39. 2015-04 2015-04-15      cookie2  
  40. 2015-04 2015-04-16      cookie1  

GROUPING SETS

在一个GROUP BY查询中，根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果集进行UNION ALL

  1. SELECT   
  2. month,  
  3. day,  
  4. COUNT(DISTINCT cookieid) AS uv,  
  5. GROUPING__ID   
  6. FROM lxw1234   
  7. GROUP BY month,day   
  8. GROUPING SETS (month,day)   
  9. ORDER BY GROUPING__ID;  
  10.    
  11. month      day            uv      GROUPING__ID  
  12. ------------------------------------------------  
  13. 2015-03    NULL            5       1  
  14. 2015-04    NULL            6       1  
  15. NULL       2015-03-10      4       2  
  16. NULL       2015-03-12      1       2  
  17. NULL       2015-04-12      2       2  
  18. NULL       2015-04-13      3       2  
  19. NULL       2015-04-15      2       2  
  20. NULL       2015-04-16      2       2  
  21.    
  22.    
  23. 等价于   
  24. SELECT month,NULL,COUNT(DISTINCT cookieid) AS uv,1 AS GROUPING__ID FROM lxw1234 GROUP BY month   
  25. UNION ALL   
  26. SELECT NULL,day,COUNT(DISTINCT cookieid) AS uv,2 AS GROUPING__ID FROM lxw1234 GROUP BY day  

再如：
  1. SELECT   
  2. month,  
  3. day,  
  4. COUNT(DISTINCT cookieid) AS uv,  
  5. GROUPING__ID   
  6. FROM lxw1234   
  7. GROUP BY month,day   
  8. GROUPING SETS (month,day,(month,day))   
  9. ORDER BY GROUPING__ID;  
  10.    
  11. month         day             uv      GROUPING__ID  
  12. ------------------------------------------------  
  13. 2015-03       NULL            5       1  
  14. 2015-04       NULL            6       1  
  15. NULL          2015-03-10      4       2  
  16. NULL          2015-03-12      1       2  
  17. NULL          2015-04-12      2       2  
  18. NULL          2015-04-13      3       2  
  19. NULL          2015-04-15      2       2  
  20. NULL          2015-04-16      2       2  
  21. 2015-03       2015-03-10      4       3  
  22. 2015-03       2015-03-12      1       3  
  23. 2015-04       2015-04-12      2       3  
  24. 2015-04       2015-04-13      3       3  
  25. 2015-04       2015-04-15      2       3  
  26. 2015-04       2015-04-16      2       3  
  27.    
  28.    
  29. 等价于  
  30. SELECT month,NULL,COUNT(DISTINCT cookieid) AS uv,1 AS GROUPING__ID FROM lxw1234 GROUP BY month   
  31. UNION ALL   
  32. SELECT NULL,day,COUNT(DISTINCT cookieid) AS uv,2 AS GROUPING__ID FROM lxw1234 GROUP BY day  
  33. UNION ALL   
  34. SELECT month,day,COUNT(DISTINCT cookieid) AS uv,3 AS GROUPING__ID FROM lxw1234 GROUP BY month,day  

其中的  GROUPING__ID ，表示结果属于哪一个分组集合。


CUBE

根据GROUP BY的维度的所有组合进行聚合。

  1. SELECT   
  2. month,  
  3. day,  
  4. COUNT(DISTINCT cookieid) AS uv,  
  5. GROUPING__ID   
  6. FROM lxw1234   
  7. GROUP BY month,day   
  8. WITH CUBE   
  9. ORDER BY GROUPING__ID;  
  10.    
  11.    
  12. month               day             uv     GROUPING__ID  
  13. --------------------------------------------  
  14. NULL            NULL            7       0  
  15. 2015-03         NULL            5       1  
  16. 2015-04         NULL            6       1  
  17. NULL            2015-04-12      2       2  
  18. NULL            2015-04-13      3       2  
  19. NULL            2015-04-15      2       2  
  20. NULL            2015-04-16      2       2  
  21. NULL            2015-03-10      4       2  
  22. NULL            2015-03-12      1       2  
  23. 2015-03         2015-03-10      4       3  
  24. 2015-03         2015-03-12      1       3  
  25. 2015-04         2015-04-16      2       3  
  26. 2015-04         2015-04-12      2       3  
  27. 2015-04         2015-04-13      3       3  
  28. 2015-04         2015-04-15      2       3  
  29.    
  30.    
  31.    
  32. 等价于  
  33. SELECT NULL,NULL,COUNT(DISTINCT cookieid) AS uv,0 AS GROUPING__ID FROM lxw1234  
  34. UNION ALL   
  35. SELECT month,NULL,COUNT(DISTINCT cookieid) AS uv,1 AS GROUPING__ID FROM lxw1234 GROUP BY month   
  36. UNION ALL   
  37. SELECT NULL,day,COUNT(DISTINCT cookieid) AS uv,2 AS GROUPING__ID FROM lxw1234 GROUP BY day  
  38. UNION ALL   
  39. SELECT month,day,COUNT(DISTINCT cookieid) AS uv,3 AS GROUPING__ID FROM lxw1234 GROUP BY month,day  

ROLLUP

是CUBE的子集，以最左侧的维度为主，从该维度进行层级聚合。

  1. 比如，以month维度进行层级聚合：  
  2. SELECT   
  3. month,  
  4. day,  
  5. COUNT(DISTINCT cookieid) AS uv,  
  6. GROUPING__ID    
  7. FROM lxw1234   
  8. GROUP BY month,day  
  9. WITH ROLLUP   
  10. ORDER BY GROUPING__ID;  
  11.    
  12. month               day             uv     GROUPING__ID  
  13. ---------------------------------------------------  
  14. NULL             NULL            7       0  
  15. 2015-03          NULL            5       1  
  16. 2015-04          NULL            6       1  
  17. 2015-03          2015-03-10      4       3  
  18. 2015-03          2015-03-12      1       3  
  19. 2015-04          2015-04-12      2       3  
  20. 2015-04          2015-04-13      3       3  
  21. 2015-04          2015-04-15      2       3  
  22. 2015-04          2015-04-16      2       3  
  23.    
  24. 可以实现这样的上钻过程：  
  25. 月天的UV->月的UV->总UV  

[sql]  view plain  copy
  1. --把month和day调换顺序，则以day维度进行层级聚合：  
  2.    
  3. SELECT   
  4. day,  
  5. month,  
  6. COUNT(DISTINCT cookieid) AS uv,  
  7. GROUPING__ID    
  8. FROM lxw1234   
  9. GROUP BY day,month   
  10. WITH ROLLUP   
  11. ORDER BY GROUPING__ID;  
  12.    
  13.    
  14. day                   month              uv     GROUPING__ID  
  15. -------------------------------------------------------  
  16. NULL            NULL               7       0  
  17. 2015-04-13      NULL               3       1  
  18. 2015-03-12      NULL               1       1  
  19. 2015-04-15      NULL               2       1  
  20. 2015-03-10      NULL               4       1  
  21. 2015-04-16      NULL               2       1  
  22. 2015-04-12      NULL               2       1  
  23. 2015-04-12      2015-04            2       3  
  24. 2015-03-10      2015-03            4       3  
  25. 2015-03-12      2015-03            1       3  
  26. 2015-04-13      2015-04            3       3  
  27. 2015-04-15      2015-04            2       3  
  28. 2015-04-16      2015-04            2       3  
  29.    
  30. 可以实现这样的上钻过程：  
  31. 天月的UV->天的UV->总UV  
  32. （这里，根据天和月进行聚合，和根据天聚合结果一样，因为有父子关系，如果是其他维度组合的话，就会不一样）  

这种函数，需要结合实际场景和数据去使用和研究，只看说明的话，很难理解。

官网的介绍： https://cwiki.apache.org/confluence/display/Hive/Enhanced+Aggregation%2C+Cube%2C+Grouping+and+Rollup



u011277123
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive中rollup、cube使用方法
TangYuG的博客
10-09 1304
当我们业务中需要根据多个维度或者多个粒度统计分析数据的时候，最笨的办法是多次group by 然后union all到一起，这个时候其实可以用rollup、cube来实现，当然要了解这两个函数的原理，如果觉得结果比我们想要的结果多一些，那可以通过grouping sets 灵活的设置分组字段。......
[Hive学习]聚合增强函数解析：grouping sets、cube、rollup、grouping判断
最新发布
alie_123的博客
12-13 561
本文介绍了hive聚合增强函数：grouping sets、cube、rollup、grouping判断的使用方法及注意细节。
Hive 是什么
山鬼谣弋痕夕的博客
01-31 5385
1.Hive 是什么 hive 是一个构建在Hadoop上的数据仓库工具,它可以让结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,剋将SQL语句转换为MapReduce任务进行运行,其优点是学习成本低. hive的目的是让精通SQL技能的分析师能够在Facebook存放在HDFS的大规模数据集上进行查询操作. 目前,Hive已经成为一个通用的、可伸缩的数据处理平台.   2...
Hive基本概念
11-19 9261
Hive简介 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。 Hive可以对数据进行存储与计算 数据存储依赖于HDFS 数据计算依赖于MapRedu...
个人对hive的简单理解？
qq_40106041的博客
10-12 554
帮朋友打个广告 [二手空调维修拆装回收] 等一系列服务有需要的大哥们 请咨询13636585819或者扫描下方的二维码 什么是hive? 1、hive是基于hadoop的一个数据仓库工具 2、可以将结构化的数据文件映射成一张数据库表，并提供类sql的查询功能 3、可以将sql语句转化成map任务（maptask）进行运行 4、可以用来数据提取、转化、加载（ETL） 5、hive是sql解析引...
hive学习总结 思维导图.xmind
09-18
由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language)，因此很容易将 Hive ...数据库可以用在 Online 的应用中，但是Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。
hive-udf(两地址间距离计算+省市区位置解析(Java代码))
05-07
在Java中，我们可以定义一个函数，接收两个经纬度对（纬度和经度），然后应用Haversine公式计算它们之间的弧度距离，最后将其转换为公里或英里。这个过程涉及到一些数学运算，例如弧度转换、正弦和余弦函数的使用。 ...
spark2.4.8_on_hadoop3.3.3
10-10
为了实现这一点，需要在Spark的配置文件`spark-defaults.conf`中设置Hive的相关属性，例如`spark.sql.hive.metastore.uris`，指向Hive Metastore的服务地址。 在实际应用中，用户可以通过`spark-submit`命令提交...
bigdata-assignments:INST767
06-27
通过这些作业，学生可以掌握处理大数据的全貌，从数据的存储到分析，再到结果的呈现，全面提升对大数据生态系统和 Java 实现的理解。每个具体的文件可能对应一个特定的课题，例如实现一个 MapReduce 作业，设计一个 ...
厦门大数据比赛.zip
10-01
描述中的“比赛项目源码”确认了这一点，暗示我们需要关注的是数据分析、处理和挖掘的代码实现。 在大数据领域，通常涉及到的技术栈包括但不限于： 1. **Hadoop**: Hadoop是Apache基金会开发的一个开源框架，主要...
Hive开窗函数测试-cube，rollup
04-19
NULL 博文链接：https://wankunde.iteye.com/blog/1879565
hive的多维数据分析
weixin_51104399的博客
06-19 815
hive sql的多维分析实现 with cube,with rollup,grouping sets
hive中cube, grouping sets, grouping__id应用
Brad_Q1的博客
07-16 984
hive 中grouping sets, grouping__id以及cube的具体应用及案例
对Hive的认识
小真子的博客
05-30 516
学习Hive，要知道他是干什么，有什么优点和缺点，能够解决什么问题。以下内容是我从《Hive编程指南》中学到的东西，供以后学习使用。一、Hive常识1.Hive出现的原因：    解决了用户从一个现有的数据基础架构转移到Hadoop上，并且是基于传统关系型数据库和结构化查询语句，方面sql用户的使用。利用HQL来查询存储在Hadoop集群中的数据。2.Hive的限制：    Hive不支持记录级别...
大数据之Hive理解
weixin_44117767的博客
09-16 406
** 一、Hive介绍 Hive官网：https://hive.apache.org/ 1.1 hive简介 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作...
hive和hbase的通俗易懂的区别
Joy_cj
05-03 6423
1.区别（1）hive是构建在hadoop基础设施上的数据仓库，通过HQL（类似SQL语言）最终转化为MapReduce。        hbase是一种key/value系统，他运行在hdfs上，和hive不一样，hbase能够在数据库上实时运行，而不是运行MapReduce任务。（2）hive查询花费时间很长，他默认遍历表中的所有数据。但可以通过hive的分区机制提高效率。        hb...
Hive你了解多少
weixin_42272887的博客
08-06 134
导读： 对于一个事物的认识，存在几种情况 1.没有接触，不知道这个事物是什么，所以不会产生任何问题。 2.接触了，但是不知道他是什么，反正我每天都在用。 3.有一定的了解，不够透彻。 那么hive， 1.我们对它了解多少? 2.它到底是什么? 3.hive和hadoop是什么关系? 扩展： hbase和hive是什么关系? Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。那么，到底什么是Hive，我们先看看Hive官网Wiki是如何介绍Hive的(htt
hive的简单理解--笔记
weixin_30338743的博客
12-16 114
Hive的理解 数据仓库的工具 Hive仅仅是在hadoop上面包装了SQL； Hive的数据存储在hadoop上 Hive的计算由MR进行 Hive批量处理数据 Hive的特点 1 可扩展性（hadoop） 2 延展性 3 容错性（MR） 转载于:https://www.cnblogs.com/beeman/...
hadoop、hive、hbase的通俗解释，带你快速了解
zsyoung的博客
09-27 5331
定义： hadoop是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。后者可以独立运行，前者可以选择性使用，也可以不使用。   hive是一个构建在Hadoop基础设施之上的数据仓库。   hbase是一种Key/Value系统，它运行在HDFS之上，是一个分布式的、面向列的开源数据库。   特点： hive把数据文件加载进来作为一个hive表（或者
hive and怎么理解
05-20
"hive and" 可能是指 Hive 中的 AND 运算符。在 Hive 中，AND 运算符用于组合两个或更多条件，只有当所有条件都为 TRUE 时，才会返回 TRUE。 例如，下面的 Hive 查询使用了 AND 运算符： ``` SELECT * FROM my_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值