Hadoop
lixiaotaoplus
share my views
展开
-
hive函数参考手册
hive函数参考手册原文见:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无转载 2014-03-02 00:42:05 · 798 阅读 · 0 评论 -
hive返回星期几的方法
熟悉hive的人都知道,在原生版本中,目前并没有返回星期几的函数。为了解决这个问题,除了利用java自己编写udf外,也可以利用现有hive函数实现。原创 2014-12-30 16:49:54 · 16335 阅读 · 0 评论 -
Hive异常:UDFArgumentTypeException No argument is expected
背景:今日在某集市执行一hivesql,sql没有问题,在数据仓库里执行没有问题。但是在某集市执行后,一直提示UDFArgumentTypeException No argument is expected,很蛋疼。其中,这个sql涉及到到row_number()、regexp_replace等函数。分析:经sql分段排查,是由于使用到row_number()函数才报错原创 2015-02-12 15:07:05 · 11590 阅读 · 0 评论 -
hive 处理敏感字段
hive使用regexp_replace函数,处理敏感字段。原创 2015-03-02 18:10:16 · 7033 阅读 · 0 评论 -
hive 实现job并发执行
hive里,同一sql里,会涉及到n个job,默认情况下,每个job是顺序执行的。 如果每个job没有前后依赖关系,可以并发执行的话,可以通过设置该参数 set hive.exec.parallel=true,实现job并发执行,该参数默认可以并发执行的job数为8。原创 2015-07-04 19:50:30 · 7083 阅读 · 1 评论 -
hive load文件第一个字段为NULL
在hive中,通常需要加载外部数据源。load文件时,第一个字段会出现NULL。例如: 1、执行load语句: LOAD DATA LOCAL INPATH ‘test.txt’ OVERWRITE INTO TABLE table_name_xxx; 2、结果: 经排查,这种情况通常是上传文件编码问题导致的,解决办法如下: 使用UE或Notepad++,将文件保存为“以UTF-8无BOM原创 2015-07-22 11:09:31 · 1874 阅读 · 0 评论 -
一道HIVE UDF笔试题-解析url字符串的主域部分
HIVE UDF案例。编写UDF,获取URL字符串的主域部分原创 2018-06-04 00:45:31 · 1022 阅读 · 0 评论