Hive学习
小蚂蚁爱吃肉
学生界的菜鸟
展开
-
sql 用like 匹配多个关键词
新环境中可能要更改写法 为 REGEXP_LIKE(字段名,'关键词1|关键词2')一般会用 字段名 regexp_like '关键词1|关键词2'日常还会用到 regexp_like。除了like 的用法。原创 2024-03-21 14:32:43 · 735 阅读 · 0 评论 -
查看创建的hive表对应的hdfs文件路径
查看创建的hive表对应的hdfs文件路径原创 2022-02-26 09:56:40 · 1976 阅读 · 0 评论 -
HIve 中 collect_list和collect_set 函数的使用总结
Hive中collect相关的函数有collect_list和collect_set。它们都是将分组中的某列转为一个数组返回,collect_list函数不去重而collect_set函数会去重。例如:有如下一个数据表进行行转列很明显我们能看看到,张三做了两次B类项目1、使用 collect_list函数select user , collect_list( project ) from tb group by user ;得到的结果将是张三的两次B类项目,不会进行去重2原创 2021-04-21 16:50:33 · 31083 阅读 · 0 评论 -
Hive的行转列及列转行函数使用总结
1、laterval view 常 和 explode 一起使用用来进行行转列 (单个字段中有多个指定分隔符的字段)explode 函数我称它为爆炸函数,可以将单个字段中有多个指定分隔符的字1、比如以下这个 array 这个 例子array[10,20,30,40,50]select explode(array) from tb结果如下array10203040502、炸开 map 的例子idcnt原创 2021-04-21 16:24:56 · 641 阅读 · 0 评论 -
Hive中类SQL语言中的where 与having
1.用的地方不一样 where可以用于select、update、delete和insert...into语句中。 having只能用于select语句中2.执行的顺序不一样 where 子句在聚合之前起作用,不能放在 GROUP BY 子句之后; where 子句指定的检索条件中,不能引用包含在聚合函数中的输入源中的列或者表达式 having 子句在聚合之...原创 2019-10-29 10:02:58 · 3763 阅读 · 1 评论 -
Hive 中类SQL语言中的 oder by,gruop by的区别
order by 是按字段排序group by 是按字段分组,即select 字段必须是“分组依据字段”order by 从英文翻译出发,就是行的排序方式,默认的为升序。 order by 后面必须列出排序的字段名,可以是多个字段名。group by 从英文翻译理解,就是分组。必须有“聚合函数”来配合才能使用,使用时至少需要一个分组标志字段。关于“聚合函数”,简单的理...原创 2019-10-29 09:50:27 · 376 阅读 · 0 评论 -
Hive和hdfs的关系与区别
Hive的基本介绍(1)hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的 sql 查询功能,可以将 sql 语句转换为 MapReduce 任务进行运行。可以通过类 SQL 语句快速实现简单的 MapReduce 统计,不必开发专门的 MapReduce 应用,十分适合数据仓库的统计分析。(2)Hive 是建立在 Hadoop 上的...原创 2019-09-10 21:08:17 · 19529 阅读 · 0 评论 -
Hive常用命令
第一类: 在Hive中进行简单的数据库操作(1)启动hive[atguigu@hadoop102 hive]$ bin/hive(2)查看数据库hive> show databases;(3)打开默认数据库hive> use default;(4)显示default数据库中的表hive> show tables;(5)创建一张表hive&g...原创 2019-09-10 21:17:26 · 190 阅读 · 0 评论 -
大数据之hive分区表和分桶表的区别
(一)二者的区别(1)分区和分桶都是细化数据管理,但是分区表是手动添加区分,由于hive是读模式,所以对添加进分区的数据不做模式校验。分桶表的数据时按住某些分桶字段进行hash散列 相乘的多个文件,所以数据的准确性高很多(2)分区表是指按照数据表的某列或某些列分为多个区,区从形式上可以理解为文件夹(3)分桶是相对分区进行更细粒度的划分。分桶将整个数据内容按照某列属性值的hash值进行区...原创 2019-09-10 21:51:19 · 6395 阅读 · 0 评论