Hive常用SQL和hive优化_hivesql distri-CSDN博客

本文链接：https://blog.csdn.net/weixin_43681796/article/details/99559079

四、Hive SQL

1.外部表和内部表

区别在于删除的时候只删除元数据，而内部表删除的时候连数据都给删除了

2.Hive DDL

定义：Hive的数据定义语言（LanguageManual DDL）

1）建表语句

· 创建普通的表: create table abc( id int ) row format delimited fields terminated by ',' stored as textFile

· 创建带有分区的表：create table abc( id int ) partitioned by (dt String) row format delimited fields terminated by ','

· 创建外表：create external table abc( id int ) row format delimited fields terminated by ',' location'/home/hive/text.text';

3.Hive DML

定义：Hive数据操作语言（LanguageManual DML）

1）操作语句

HDFS上导入数据：load data inpath 'filePath' into table table_name;

· 从别的表中导入：insert into table table_name1 [patition(dt '.....', value)] select id,name from table_name2

· 多重数据插入：from table_name1 t1，table_name2 t2 insert overwrite table table_name3 [patition(col1=val1,col2=val2)] select t1.id, t2.id, .....................;

五、Hive优化

1.优化一：本地模式

· 开启本地模式 hive> set hive.exec.mode.local.auto=true

· 需要注意的是：hive.exec.mode.local.auto.inputbytes.max 这个参数默认是128M，这个值表示了当加载文件的值大于这个值的时候，该配置仍会以集群来运行；默认就是集群运行的；当项目上线的时候开启；使用本地模式的话，小数据小表可以避免提交时间的延迟

2.优化二：并行计算

· 开启并行计算 hive> set hive.exec.parallel=true

· 相关参数 hive.exec.parallel.thread.number(一次sql计算中允许并执行的 job 数量)

· 需要注意的是，并行计算会加大集群的压力

3.优化三：严格模式

· 开启严格模式 hive> set hive.mapred.mode = strict

· 主要是防止一群sql查询将集群压力大大增加

· 同时它也有一些限制：1、对于分区表，必须添加where对于分区字段的条件过滤 1、orderby语句必须包含limit输出限制 3、限制执行笛卡尔积查询

4.优化四：排序

· order by 对于查询结果做全排序，只允许有一个reduce处理

· 需要注意的是：当数据过大的时候谨慎使用，在严选模式下需要结合limit 来使用

· sort by 是对单个reduce的数据进行排序

· 只会在每个reducer 中对数据进行排序，也就是执行局部排序过程，只 能保证每个reducer的输出数据都是有序的（但并非全局有序）

· distribut by 是分区排序经常结合sort by一起使用

· cluster by 相当于distribut br + sort by

· cluster by 默认是倒序排序，不能用asc和desc来指定排序规则；可以通 过distribute by clumn sort by clumn asc|desc方式来指定排序方式

5.优化五：JOIN

· join时将小表放在join的左边

· mapjoin：在map端进行join（可以省略shuffle和reduce提高性能）

1）实现方式1：mapJoin标记

sql方式，在sql语句中添加mapjoin标记（mapjoin hint） select /*+mapjoin(smalltable)*/smalltable.key ，bigTable.value from smallTable join bigTable on smallTable.key=bigTable.key

2）实现方式2：开启自动的mapjoin

参数配置：自动对小表进行mapjoin

hive> set hive.auto.convert.join=true