Hive Sql使用注意点记录

最新推荐文章于 2022-08-17 14:04:38 发布
最新推荐文章于 2022-08-17 14:04:38 发布
阅读量114 收藏
点赞数
分类专栏： Hive 文章标签： hive sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23146763/article/details/93622460
版权

1.单独的 DISTINCT 关键字只能放在开头，放在其它位置会报错；但如果是配合其它的函数使用，比如 COUNT(DISTINCT a) 则可以任意位置

2.想要在like方法中调用函数，要用concat拼接

 like CONCAT('%',from_unixtime(unix_timestamp(),'yyyy-MM-dd'),'%')
lishengping_max
关注
专栏目录
HiveSQL解析原理.docx
12-25
### HiveSQL解析原理详解 #### 一、引言 Hive作为一款建立在Hadoop之上的数据仓库系统，被广泛应用于大数据处理场景中。对于众多企业和组织而言，它不仅是存储和管理海量数据的有效手段，同时也是进行数据分析的...
hive中使用sql语句需要注意的事项
小鱼的专栏
04-14 2万+
最近使用hive，在实际使用过程中有
hivesql 一些语法注意点
09-30 3787
hive where字句里不允许有子查询 不支持如下： select ... from table_name where id in (select id from ... ) 这种语法hive里面是不支持的，但是关系型数据库里面经常会这么写。 如何替换：我们可以用两个表关联代替，但是in右边括号里边是不允许重复的，而关联时右边是有重复的。所以就是说，我们应该先把join右边的表进行去
Hive SQL 使用时的注意事项和一些踩过的坑
止鱼
02-10 1万+
1· Hive作为大数据平台下的sql语言极易上手，又难以精通，内部实现上，比如在Hadoop平台上，Hive会将sql转换为mp程序去处理 2· 由于sql被转换成了mp程序，在Hadoop中，一条sql会启动多个job, 而启动job任务是需要花费时间和机器资源的，所以在书写Hivesql时，要本着：尽量减少嵌套层次以减少job任务的原则 3· 每条group语句会多启动一个job, 所以
Hive数据类型和使用注意事项详解
热门推荐
涤生大数据
05-11 3万+
了解Hive数据类型 ，是Hive编程的基础。使用hive建表，首先要明白hive常用的数据类型有哪些，可以存储哪些类型的数据。其实Hive支持关系型数据库中的大多数基本数据类型，且同时支持关系型数据库中少见的3种集合数类型（STRUCT,MAP,ARRAY）。然而学习技术最好的方式之一就是去查看官方文档。 Hive关于数据类型官网地址：Hive官网关于数据类型的介绍 ...
hive学习之二：hive sql使用总结及遇到的问题
A coder of life
05-12 1万+
1.hive在连接中不支持不等值连接，不支持or，where条件后不支持子查询。分别举例如下及实现解决办法。   1.1.不支持不等值连接        错误:select * from a inner join b on a.id        替代方法:select * from a inner join b on a.id=b.id and a.id is null;   1.2.不
shell中循环调用hive sql 脚本的方法
09-15
在IT行业中，尤其是在大数据处理和自动化任务执行的场景下，Shell脚本与Hive SQL的结合使用非常常见。本文将详细介绍如何在Shell脚本中循环调用Hive SQL语句，以便实现批量处理数据或者执行一系列相关的查询操作。 ...
HIVE-SQL开发规范.zip
03-13
Hive是基于Hadoop的数据仓库工具，它允许用户使用SQL语法来查询分布式存储的数据。在大数据处理场景下，Hive SQL扮演着至关重要的角色，因此遵循一定的开发规范显得尤为重要。 1. **语句结构与格式化** - 使用清晰...
部分普通sql查询在hive中的实现方式
11-18
由于Hive的设计初衷是让用户能够使用类SQL的查询语言“HiveQL”来处理数据，它与传统的SQL数据库存在一定的差异。以下是一些常见的SQL查询在Hive中的实现方式： #### 1. 在查询中不能同时出现多条`COUNT(DISTINCT)`...
TPCDS测试-99条Hive基准测试流程
03-25
5. **查询编译**：将TPCDS的99个SQL查询转换为HQL，注意适应Hive的语法特性。 6. **执行测试**：逐个运行转换后的HQL查询，记录每个查询的执行时间、资源消耗等信息。 7. **性能分析**：分析查询的执行时间，对比...
Hive SQL调优的一些小建议
Jack Cheung
08-26 1595
hive SQL调优 1.尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段 2.尽量原子化操作，尽量避免一个SQL包含复杂逻辑, 可以使用中间表来完成复杂的逻辑 3.小表要注意放在join的左边（目前TCL里面很多都小表放在join的右边。否则会引起磁盘和内存的大量消耗 4.如果union all的部分个数大于2，或者每个union部...
Hive中使用sql的注意事项
weixin_30572613的博客
09-13 342
一、别名的使用 1 定义别名：columnA as X 不需要使用单引号 2 使用别名：不与where同时使用 花式报错-->有说hive不支持where后使用别名 二、GROUP BY select m.makeName ,SUM(c) from (select t.makeId as id ,count(o...
hivesql写的时候要注意的点（后续还会补充）
bd2569的博客
12-25 346
不能select非group的字段 当字段值为string的时候，可以用is not null来判断为不为空；当字段值是array的时候，要用size（）来判断是不是为空[]，用null判断的是全空，连[]也没有的情况 在hive中支持 in 语法的 ，只是在 in 中不能接一个子查询，所以要in子查询的话，最好写成关联表形式 MD5函数：select md5(o...
hive sql注意事项
Java_Soldier的博客
08-04 713
如果是按时间分区的表，查询时一定要使用分区限制，如果没有分区限制，会从该表的所有数据里面遍历。 注意sql中or的使用，or 这个逻辑必须单独括起来，否则可能引起无分区限制，下面举个例子，想查询到的是gd或gx的某天的数据。 Select x from t where ds=d1 and province=’gd’ or province=’gx’ 该语句会从所有的分区里面查询！也没有得到自...
hiveSQL优化思路
andyliuzhii的专栏
04-12 3507
        主要涉及到数据存储和计算两个过程，设计出合理的数据存储格式对于数据的查询和计算具有很重要的意义。存储的优化思想就是查询数据时能够很快定位到需要的数据，通过索引技术或者缩小检索数据范围来解决；传统数据库领域通过采用索引技术来优化数据的存储达到高效检索访问，在hive数仓技术中也有索引技术，但是，最常用的技术是分区和分桶技术。        表存储思想：根据表字段变更的频率进行水平拆分...
Hive使用注意事项（持续更新）
flyingsk的专栏
04-29 815
Hive是一个非常好用的东东。可以省去写MapReduce程序的痛苦。 一般来说，Hive可以覆盖90%的MapReduce任务的需求，大大减少开发代价。 但是使用Hive，有很多需要注意的地方。 本文会持续整理一些，帮大家避免一些问题。 1. 请不要使用Hive并行向同一个表的不同分区导入数据。 有人说，我想并行导入数据，这样可能快些。 Hive本身很好，但它的元数据
hive注意事项
灿若星辰丶的博客
07-26 779
（1）hive中创建的表存储在mysql中和hdfs的/user/hive/warehouse路径下 表中的元数据存储在mysql中 （2）hive中创建的外部表在工作中最常用。假设hive中已经创建了rel数据库，hive中创建的外部表在mysql中和/user/hive/warehouse/data目录下，删除外部表时，数据库中表被删除，但是/user/hive/warehouse/dat...
九个最容易出错的 Hive sql 详解及使用注意事项
jin6872115的博客
08-17 651
结果是错误的，把所有的电器类型都查询出来了，原因就是 and 优先级高于 or，上面的sql语句实际执行的是，先找出 classify = '家具' and price>100 的，然后在找出 classify = '电器' 的。在进行数仓搭建和数据分析时最常用的就是 sql，其语法简洁明了，易于理解，目前大数据领域的几大主流框架全部都支持sql语法，包括 hive，spark，flink等，所以sql在大数据领域有着不可替代的作用，需要我们重点掌握。...
Hive SQL 日常工作使用总结
求知：数据科学家之路
07-12 2926
写写日常在使用Hive SQL做分析时经常使用的一些函数或者方法 like like用于指定特定的字符串，或结合正则做模糊匹配 select uid from dw.today where tunittype like '%wew.%' rlike是hive中对like的扩展，将原先多个like才能完成的任务，使用一个rlike就可以搞定。 select uid fr...
hive sql 如何将excel里数据进行匹配
最新发布
06-06
要在Hive SQL中匹配Excel数据，需要将Excel数据导入Hive表中，然后使用...请注意，上面的示例仅演示了如何将Excel数据导入Hive表中，并使用Hive SQL语句进行匹配。实际情况可能更加复杂，具体取决于您的数据和要求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值