![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
Samaritan_H
这个作者很懒,什么都没留下…
展开
-
hive中的几种排序的区别
整理hive中遇到的几种排序的函数 特性、区别记上一笔hive的排序 hive的排序有四种: order by ,sort by,distribute by,cluster by order byorder by 是最常用的一种排序,全局排序,所有的数据会在一个reducer上面进行排序,所以一般使用这个函数进行排序的时候速度较慢。需要指出来的是,在strict模原创 2018-01-17 20:22:43 · 1527 阅读 · 1 评论 -
hive中的桶表,以及高效的join方式
hive中的join策略 大概可以分为三种前面2种的话都是经常会用到,说下第三种 桶 join桶(SMB)物理上,每个桶就是表(或分区)目录里的一个文件。 smb的设计是为了解决大表和大表之间的join的。简单的说下她的思想:大表化成小表,map side join 解决。经典的分而治之的思想。对一个表或者一个分区,可以将其划分为更细的数据块,桶。在hive中,分桶的方原创 2018-01-18 20:15:57 · 7544 阅读 · 4 评论 -
hive中的高阶函数-窗口函数
窗口函数的使用,配合聚合函数使用,能够更加灵活的规约表的格式,大大减少工作量说在前面窗口函数,执行顺序是最后执行仅仅是在order by之前执行。over函数子句的使用准备的测试数据jackma,2018-01-01,10tonyma,2018-01-02,15jackma,2018-02-03,23tonyma,2018-01-04,29jackma,2018-01原创 2018-01-19 15:56:11 · 3672 阅读 · 0 评论 -
关于crontab 不能调用Hadoop相关的命令的问题
先说结果:环境变量导致。 处理方式: source /etc/profile source ~/.bash_profile 在脚本的开头引入环境变量。 事件:crontab 调用shell 脚本,脚本中包含,hive -e ,hive -f 等命令,本地执行shell脚本测试无问题,但是crontab 调度任务不执行。...原创 2018-04-02 09:40:39 · 1783 阅读 · 1 评论