![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
pends
喜欢大数据、深度学习、计算机视觉等先进的技术
展开
-
关于HiveQL的常用语法总结(一)——DDL
利用Hadoop平台做用户画像也有一些时日了,用到Hive的时候是非常多的,今年年初就想总结下Hive中常用的语法情况,因为各种各样的原因,一直拖到现在,惭愧…总算可以稍作总结下了,这个主题我想分为三个部分进行叙述:DDL——DML——其它技巧。 本系列文章的定位是:总结hive的常用知识点和实战经验,不涉及艰深的大数据理论架构等问题。 好啦,直接进入主题吧。1、数据库语言简介数据库语言有四大功原创 2017-05-21 14:34:06 · 1147 阅读 · 0 评论 -
关于HiveQL的常用语法总结(三)——常用函数
这一节,常常可以使得我们的hive代码简洁高效,甚至是完成一些用常规方法“基本完成不了”的事情,所以这一节我也想跟大家分享下。本节主要分享下平时经常用到的但又容易忽略的函数,肯定不是Hive的全部内置函数。Hive的全部内置函数可以从获取。 参考链接:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF5、日期函数在原创 2017-05-21 16:43:37 · 2865 阅读 · 0 评论 -
关于HiveQL的常用语法总结(四)——其它技巧(hive代码优化)
大数据有一个特点,就是数据量大,因此如果能提高代码本身的运行效率,或者是使得代码在分布式机器上能更好的进行计算,就会极大的节省时间成本或者是资源成本。所以,本节想给大家分享下hive的优化。引言——优化思路首先是一个思路的问题。hive代码该怎么去优化呢?从哪里着手? 显然这是代码跑的比较慢之后,最先想到的两个问题。要先回答这个问题,我们得搞清楚hive代码的运行机制,有多少个步骤,在每个步骤上是转载 2017-05-21 18:09:26 · 807 阅读 · 0 评论 -
hive日志的存储位置
日志记录了程序运行的过程,是一种查找问题的利器。Hive中的日志分为两种 系统日志,记录了hive的运行情况,错误状况。 Job 日志,记录了Hive 中job的执行的历史过程。 系统日志存储在什么地方呢 ?在hive/conf/ hive-log4j.properties 文件中记录了Hive日志的存储情况, 默认的存储情况:hive.root.logger=WARN,DRFA hive.lo转载 2017-09-12 10:33:29 · 436 阅读 · 0 评论 -
Hive语句前的常见设置
1.hive.cli.print.header=true 是否显示查询结果的列名,默认为不显示 2.set hive.exec.parallel=true; 参数控制在同一个sql中的不同的job是否可以同时运行,默认为false. 3.hive.map.aggr=true 决定是否可以在 Map 端进行聚合操作,从而减轻清洗阶段数据传输和Reduce阶段的执行时间原创 2017-12-04 14:32:28 · 561 阅读 · 0 评论