HIVE学习
文章平均质量分 89
ListenerDMT
大数据
展开
-
Hive元数据表整理
原创 2022-04-09 01:31:25 · 245 阅读 · 0 评论 -
Hive的UDF实现两种简单方法+通过编译源码添加UDF
目录一、实现简单的say_hello1、打开IDE在pom.xml中添加如下2、新建 UDFHello.java3、打包4、上传jar包至hive的lib下,并赋权5、进入Hive,添加jar包6、创建临时函数对应我们的jar包7、测试一下8、总结二、将UDF函数注册到元数据里1、在一的基础上退出hive重新进入,会发现添加的UDF函数没有了,不能用了2、在HDFS上创建一个文件夹将我们的jar包上传上去3、在hive上执行如下语句4、查看m...原创 2022-04-08 14:44:54 · 3121 阅读 · 0 评论 -
Hive场景问题+Hive排序+Hive中的join+Hive参数优化
目录一、一个实际场景,组合多的问题1、场景描述2、如何优化?二、Hive中的排序1、order by (全局排序)2、sort by (分区内排序)3、distribute by (分区排序)4、cluster by (简写)5、一个关于排序的实际场景例子(1)问题描述(2)解决方法三、hive中的join1、普通的join(left,inner等)(common/shuffle/reduce join)2、map join大小表...原创 2022-04-08 10:23:17 · 919 阅读 · 0 评论 -
hive分区+hive动态分区+hive函数+使用hive实现WC
目录一、hive分区表1、创建一个分区表2、插入一个分区数据3、查看表数据和HDFS4、再插另一个分区数据5、查看表数据和HDFS6、分区表的好处二、hive动态分区1、定义2、创建一个动态分区表3、插入数据4、查看表中数据和HDFS三、函数function1、函数分类2、常用的一些函数整理(1)时间相关3、JSON(1)创建一个存放json数据格式的表(2)插入几条json格式数据(3)查看数据(4)使用 j...原创 2022-04-05 17:58:32 · 2778 阅读 · 0 评论 -
Hive基本操作+库语法+表语法+内外表区别
目录一、一些基本hive操作1、hive -e +select语句2、hive -f + sql脚本文件3、hive -i二、库相关语法1、create 创建数据库2、drop 删除数据库3、use 使用库三、表相关语法1、create创建表2、查看表3、插入表数据load / insert4、修改表、删除表、清空表四、内部表(MANAGED)、外部表(EXTERNAL)区别五、作业1、stored as 的含...原创 2022-04-04 01:53:32 · 1464 阅读 · 0 评论 -
Hive简介+与关系数据库比较+Hive安装+测试连接
学习hive --》官网一、hive简介hadoop 广义上:大数据生态圈,其中hive是使用SQL完成大数据统计分析的工具狭义上:HDFS MR YARNHDFS :hive的数据是存在HDFS上的(Distributed storge分布式存储),元数据(Metadata)存储在对应的底层关系数据库。一般是MysqlMR(计算引擎):hive的作业(sql)是通过hive的框架,翻译成MR作业这里的引擎也可以是 Tez,Spark不管底层使用什么引擎,对于用户来说是不感.原创 2022-04-02 16:24:09 · 3598 阅读 · 0 评论