![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
低头看路,抬头做人
少年阿宏
“总有一天你将破蛹而出,成长得比人们期待的还要美丽。但这个过程会很痛,会很辛苦,有时候还会觉得灰心。面对着汹涌而来的现实,觉得自己渺小无力。
但这,也是生命的一部分。做好现在你能做的,然后,一切都会好的。我们都将孤独地长大,不要害怕。”
展开
-
hive自定义udf
hive udf原创 2023-02-16 09:31:51 · 72 阅读 · 0 评论 -
hql创建指定日期表
SELECT DATE_ADD(start_date, pos) ddFROM (SELECT ‘2022-03-01’ AS start_date, ‘2022-03-30’ AS end_date) tempLATERAL VIEWPOSEXPLODE(SPLIT(SPACE(DATEDIFF(end_date, start_date)), ‘’)) tAS pos, val原创 2022-03-24 16:50:42 · 161 阅读 · 0 评论 -
hive的groupby,with cube,with rollup
GROUP BY a, b, c WITH CUBE is equivalent toGROUP BY a, b, c GROUPING SETS ( (a, b, c), (a, b), (b, c), (a, c), (a), (b), ©, ( )).ROLLUP clause is used with GROUP BY to compute the aggregate at the hierarchy levels of a dimension.GROUP BY a, b, c with RO原创 2021-12-23 20:27:45 · 988 阅读 · 1 评论 -
hive中order by、distribute by、sort by和cluster by的区别和联系
order byorder by 会对数据进行全局排序,和oracle和mysql等数据库中的order by 效果一样,它只在一个reduce中进行所以数据量特别大的时候效率非常低。而且当设置 :set hive.mapred.mode=strict的时候不指定limit,执行select会报错,如下:LIMIT must also be specified。sort bysort by 是单独在各自的reduce中进行排序,所以并不能保证全局有序,一般和distribute by 一起执行,而转载 2021-05-08 14:39:23 · 114 阅读 · 0 评论 -
安装Mysql_hive
安装mysql hive1.Mysql##1. 安装mysql的yum源的引导yum -y localinstall mysql-community-release-el6-5.noarch.rpm##2. 安装mysql服务yum -y install mysql-server##3. 开启mysql服务service mysqld start/systemctl start mysqld##4. 初始化mysql密码mysqladmin -uroot password '1234原创 2020-12-09 16:50:26 · 58 阅读 · 0 评论 -
hive元数据库derby和mysql的区别
hive自带的内嵌元数据库是derby,derby只支持一个会话,并发性能差,实际生产不用derby,用derby的话还会遇到这样的问题:你在哪个路径下,执行hive指令,就在哪路径下生成metastore_db,建一套数据库文件,更换目录执行操作,会找不到相关表等.比如在/usr下执行创建表,在/usr下可以找到这个表。在/etc下执行查找这个表,就会找不到 。这样是极其不合适的,公司里每个人若不一样,则会显得非常混杂。导致员工之间无法公用交流。用mysql作为元数据库分为两个模式:本地独立模式:在原创 2020-12-08 10:13:04 · 1917 阅读 · 0 评论 -
使用with cube 、 with rollup 或者grouping sets来实现cube
0、hive一般分为基本聚合和高级聚合,而基本聚合就是常见的group by,而高级聚合就是grouping set、cube、rollup等。一般group by与hive内置的聚合函数max、min、count、sum、avg等搭配使用。1、grouping sets可以实现对同一个数据集的多重group by操作。事实上grouping sets是多个group by进行union alll操作的结合,它仅使用一个stage完成这些操作。grouping sets的子句中如果包换()数据集,则表示.原创 2020-09-27 20:49:45 · 975 阅读 · 0 评论