hive
itgraph
To find , to think.
展开
-
Hive中建立dual表可以方便插入一条手写记录
在写Hive SQL会碰到一个坑,特别是有时使用我们自己开发的自定义函数时,想跳过不使用from语句,但会无法执行,抛出空指针异常。(高版本的hive可能没有这个问题)这时,需要一个类似Oracle数据库中的dual表。 下面给出dual表的创建方法: 1. 建表 hive> create table dual (dummy string); OK Time taken:原创 2016-09-25 21:25:45 · 5213 阅读 · 0 评论 -
python 连接hiveserver2
pip install pyhs2首先得安装 saslhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl下载 环境windows 64 python 3.6.5原创 2018-06-11 17:41:53 · 1040 阅读 · 0 评论 -
SQL问题,也会导致坑时间的事情
有时简单的事情,认真对待一下,能省很多时间!!!因同事写SQL习惯性地复制粘贴,导致cross join ,开始定位的思路是查某些表是否有user_id 重复了,。。。可想而知,那么多表啊,a,b,c,d,e ..., n, o, 费时又费力。。。最后又回到检查SQL中了。。。...原创 2018-06-04 20:33:31 · 154 阅读 · 0 评论 -
python format 的给力用法及如何优雅地写动态sql 的反思
1. 文件形式存储SQL更优雅 使用python 写后端代码的时候,需要简单地封装一下JDBC,但是把代码嵌套sql语句会很丑也麻烦。这个时候首先想到的是以文件的形式记录。比如,我的hive sql 就是写在sql_file中,然后使用如下方式读取使用hive_sql = open(sql_file, "r").read()2.python format 下面给出一种 format 的...原创 2018-06-04 21:43:40 · 5858 阅读 · 0 评论