hive sql
siwluxuefeng
后知后觉
展开
-
hive sql 注意事项
如果是按时间分区的表,查询时一定要使用分区限制,如果没有分区限制,会从该表的所有数据里面遍历。 注意sql中or的使用,or 这个逻辑必须单独括起来,否则可能引起无分区限制,下面举个例子,想查询到的是gd或gx的某天的数据。Select x from t where ds=d1 and province=’gd’ or province=’gx’该语句会从所有的分区里面查询!也没有原创 2017-06-13 10:35:57 · 667 阅读 · 0 评论 -
hive sql解决关联条件中不等值连接问题及累计值的计算
工作中写的sql,本次的sql可以拓展出一些新内容,留下笔记with a as (select interface ,case when action is NUll then 'null' else action end as action , request_time*1000 as request_time ,count(request_time) as pv原创 2017-06-16 19:59:02 · 3190 阅读 · 1 评论 -
常用的hive sql函数总结
1.nvl(x,y) Returns y if x is null else return x2. string A || string B || …(同concat函数)3.T decode(条件,值1,返回值1,值2,返回值2,...值n,返回值n,缺省值)4.int INSTR((string,str[,start][,appear]) 返回string原创 2017-04-26 14:02:17 · 12315 阅读 · 0 评论 -
hive笔记
hive------------------------------------------------------------------------------------------------------------------------------------------------------对MySQL数据库进行初始化 进入到hive的bin目录 执行命令:原创 2017-08-30 19:56:57 · 1029 阅读 · 0 评论 -
几种 hive join 类型简介
链接:https://my.oschina.net/leejun2005/blog/82523作为数据分析中经常进行的join 操作,传统DBMS 数据库已经将各种算法优化到了极致,而对于hadoop 使用的mapreduce 所进行的join 操作,去年开始也是有各种不同的算法论文出现,讨论各种算法的适用场景和取舍条件,本文讨论hive 中出现的几种join 优化,然后讨论其他算法实现,希望转载 2017-09-01 15:35:24 · 1545 阅读 · 0 评论 -
postgresql触发器
转载:http://www.php100.com/manual/PostgreSQL8/plpgsql-trigger.htmlPL/pgSQL 可以用于定义触发器过程。 一个触发器过程是用 CREATE FUNCTION 命令创建的, 创建的形式是一个不接受参数并且返回 trigger 类型的函数。 请注意该函数即使在 CREATE TRIGGER 声明里声明为准备接受参数, 它也必需声转载 2017-09-01 16:03:00 · 643 阅读 · 1 评论 -
hive概述,hive是什么
转载:http://lxw1234.com/archives/2015/06/238.htm1. Hive是什么Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性。这是来自官方的解释。简单来说,Hive就是在Hadoop上架了一层SQL接口,可以将SQL翻译转载 2017-09-01 16:33:01 · 383 阅读 · 0 评论 -
hive函数大全
转载:http://lxw1234.com/archives/2015/06/251.htmHive函数大全–完整版(详细使用,下载pdf文件,最后有下载链接)现在虽然有很多SQL ON Hadoop的解决方案,像Spark SQL、Impala、Presto等等,但就目前来看,在基于Hadoop的大数据分析平台、数据仓库中,Hive仍然是不可替代的角色。尽管它的相应延迟大,尽管它转载 2017-09-01 16:39:50 · 298 阅读 · 0 评论