ETL
qq_16590169
这个作者很懒,什么都没留下…
展开
-
hive官网学习--Windowing and Analytics Functions新技能解锁
开窗函数起别名使用as关键字 SELECT a, COUNT(b) OVER (PARTITION BY c) AS b_count, SUM(b) OVER (PARTITION BY c) b_sumFROM T; 当有多个开窗函数时,窗口内容使用变量表示,提高开发效率 SELECT a, SUM(b) OVER wFROM TWINDOW w AS (PARTITION BY c ORDER BY d ROWS UNBOUNDED PRECEDING);...原创 2021-01-13 23:21:14 · 141 阅读 · 0 评论 -
hive踩坑——空值、NULL、不等于判断问题
今天遇到了某字段为string类型,但是里面存放了数字,null(空值),‘’(空串)在进行条件过滤时,出现了问题,现在进行一下简单的总结:数据准备:use default;create table test0613 as select '1' as code union all select '0' as code union all select null as code union all select '' as code ; 查询结果:筛选不为‘0’,需要原创 2020-06-13 22:28:30 · 9282 阅读 · 0 评论 -
hive之数据类型转换
今天在使用array_contains对collect_set的结果集和xxx字段的内容进行判断,但是判断结果不符合预期。排查发现xxx字段是String类型的,在进行算数运算后,结果被转为Double类型,和collect_set的int类型不一致,从而导致结果与预期不符。验证如下:总结:1、Hive在需要的时候将会对numeric类型的数据进行隐式转换 2、Hive也包括 隐式转换(implicit conversions)和显式转换(explicitly...原创 2020-06-03 23:02:54 · 1333 阅读 · 0 评论 -
kettle启动问题
kettle是java写的,安装kettle需要先安装JDK(要求是1.6以上版本)安装kettle后,点击spoon.bat启动Java环境配置对了,但是启动不了spoon.bat,也就是双击spoon.bat后一闪就没了的问题按如下方式修改:修改前:if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS=...原创 2019-09-14 23:00:44 · 2212 阅读 · 2 评论 -
安装oracle 12g安装教程
官网下载地址:https://www.oracle.com/database/technologies/oracle-database-software-downloads.html两个都需要下载下载后,将两个文件解压,点击setup.exe安装可能会报如下错误:解决方法第一步:控制面板>所有控制面板项>管理工具>服务>SERVER...原创 2019-09-23 23:09:32 · 5542 阅读 · 1 评论