hive
Lucky-zhou
这个作者很懒,什么都没留下…
展开
-
hive中查询星期几的方法
方法:pmod(datediff('#date#', '2012-01-01'), 7) 返回值:int 说明:1、返回值为“0-6”(“0-6”分别表示“星期日-星期六”);2、需要注意pmod和 datediff 函数的使用方法.原创 2017-04-10 15:48:09 · 4110 阅读 · 0 评论 -
hive日期函数总结
1.日期函数 to_date(string expr)返回类型:string描述:返回时间字符串日期部分to_date(expr) - Extracts the date part of the date or datetime expression expr实例:hive> select to_date('2017-1-13 16:13:01') ;2017-01-13原创 2017-04-10 15:48:49 · 3643 阅读 · 0 评论 -
hive数据倾斜
在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些Counters得出的平均值,而由于数据倾斜的原因造成map处理数据量的差异过大,使得这些平均值能代表的价值降低。Hive的执行是分阶段的,map处理数据量的差异取决于上一个stage的reduce输出,所以如何将数据均匀的转载 2017-04-19 18:31:05 · 379 阅读 · 0 评论 -
hive三种方式区别和搭建、HiveServer2环境搭建、HWI环境搭建和beeline环境搭建
说在前面的话 以下三种情况,最好是在3台集群里做,比如,master、slave1、slave2的master和slave1都安装了hive,将master作为服务端,将slave1作为服务端。hive三种方式区别和搭建 Hive中metastore(元数据存储)的三种方式: a)内嵌Derby方式 b)Local方式 c)Remote方式1.本地de转载 2017-04-17 14:43:10 · 3833 阅读 · 0 评论 -
hive导出数据的几种方式
https://www.iteblog.com/archives/955.html原创 2017-04-17 14:52:07 · 721 阅读 · 0 评论