![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
qiubaifeng
这个作者很懒,什么都没留下…
展开
-
hive和oracle中的default.dual
default.dual dual这个表只能存放一条测试数据,在使用 select from dafault.dual时, 执行过程:from 的结果在经过where过滤后,得到的结果集行数决定了这个select的行数,当然 select 中可以对数据进行处理, 但是如果 from的结果是个空的,那么select的结果必然也是空行,例如 select '1...原创 2019-04-05 14:23:19 · 453 阅读 · 0 评论 -
oracle存储过程的SQL语句转化成HIVE的SQL
这里转换成hive的sql语句:hql,其根本问题是为了解决hive不支持事物处理、数据删除操作,这两点是hive的sql和传统sql差异的主要点; 就比如一段存储过程,现在需要迁移到hive上运行,一般主要过程:声明变量、初始化批次状态表(记录程序运行的位置及数据状态)、业务数据处理(事物处理)、更新批次状态表、删除业务数据(无效数据\已处理数据); 声明变量:通过java工具(项目开发中的一个...原创 2019-04-05 15:09:51 · 3753 阅读 · 0 评论 -
外部文本数据导入hive数据库总结
外部文本数据导入hive流程: 1. 首先加载数据到集群节点上,也可再次上传到hdfs上 2.创建hive表:注意分隔符、表的文件格式; 3.load data inpath 'file:///' load data inpath 'hdfs:///' into table table_name; 注意:1.excel文件不是纯文本文件,不能直接读取每行,不建议使用csv分割,...原创 2019-04-09 22:16:36 · 331 阅读 · 0 评论 -
批量查看hive表结构及备注方法
由于hive元数据表分离,一般有两种方式: 1.如果有查看元数据的权限,可以直接去元数据库中通过sql语句查询表结构、权限信息; 2.如果没有这个权限:写一个shell脚本,先使用 show tables 再把查询出来的结果放到临时文件/数组中,再循环取出每一个表进行desc ...原创 2019-04-09 22:21:05 · 6020 阅读 · 0 评论 -
UDF函数开发流程
1。首先编写UDF 继承: org.apache.hadoop.hive.ql.exec.UDF; 需要导入hive-exec-0.13.1-cdh5.3.6.jar 包及hadoop-common-2.5.0-cdh5.3.6.jar eg:package com.paic.nets.pnc.udf; import java.text.SimpleDateFormat;...原创 2019-06-13 08:50:49 · 2035 阅读 · 0 评论