![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
Stefanboy
工作 技术 java 分享
展开
-
Hive优化(调优总结)
一、查看执行计划explain extended hql;可以看到扫描数据的hdfs路径二、hive表优化分区(不同文件夹):动态分区开启:set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;默认值:strict描述:strict是避免全分区字段是动态的,必须有至少一...原创 2020-03-29 01:18:59 · 634 阅读 · 0 评论 -
Hive concat函数和concat_ws函数和concat_group函数&row_number over()和sum() over()&列转行,行转列
concat函数,concat_ws函数,concat_group函数hivesql中的concat函数,concat_ws函数,concat_group函数之间的区别CONCAT()函数CONCAT()函数用于将多个字符串连接成一个字符串。使用数据表Info作为示例,其中SELECT id,name FROM info LIMIT 1;的返回结果为±—±-------+| id ...原创 2020-01-03 12:13:04 · 8110 阅读 · 0 评论 -
Hive的排序和分区
Hive中的排序问题order by 全局排序(慎用)默认是升序asc,可指定降序desc。order by是全局排序 只能有一个reduce作业来完成才能保证数据有序,这也是慎用的原因,数据太多容易导致计算hive默认是非严格模式hive.mapred.mode改为strict,则使用order by的时候有以下限制:如果是普通表,则需要加 limitorder by + lim...原创 2019-12-27 17:31:55 · 866 阅读 · 0 评论 -
Hive的join&HiveServer2和beeline&复杂数据类型&Function函数
join操作[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nyvwvfj2-1576774851855)(/img/hive2/1.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ew2Dy6I3-1576774851857)(/img/hive1/2.png)]hive中有两张表,分别为emp和dept表hive支持...原创 2019-12-20 00:56:51 · 408 阅读 · 0 评论 -
Hive DDL&DML&DQL
Hive的DDL操作创建数据库语法CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)];创建数据库,存储在HDFS...原创 2019-12-19 17:15:13 · 311 阅读 · 0 评论 -
Hive介绍&部署&配置&简单使用
Hadoop狭义Hadoop是最重要最基础的一个部分广义Hadoop生态圈,包括Hadoop、Hive、Sqoop、HBase…Hive概述构建在Hadoop(HDFS/MapReduce/YARN)之上的数据仓库Hive的数据是存放在HDFS之上Hive底层执行引擎:MapReduce/Tez/Spark,只需要通过一个参数就能够切换底层的执行引擎,Hive作业提交到YARN...原创 2019-12-15 18:57:23 · 288 阅读 · 0 评论