![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
Ynzo
今天学习了嘛?
展开
-
在hive中创建表时报错: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaExcept
重看笔记时发现以前记录的报错在hive中创建表时报错:Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: java.net.ConnectException Call From Spark11/192.168.59.1...原创 2019-11-04 10:49:18 · 486 阅读 · 0 评论 -
hive 报错:Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(me
创建hive表时报如下错Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: java.net.ConnectException Call From Spark11/192.168.xx.xxxto Spark1:9000 ...原创 2018-12-09 20:24:03 · 1096 阅读 · 0 评论 -
zookeeper和kafka的启动和关闭顺序
一定要先启动ZooKeeper 再启动Kafka 顺序不可以改变。先关闭kafka ,再关闭zookeeper。 zookeeper启动:分别在三台机器上执行:zkServer.sh start检查ZooKeeper状态:zkServer.sh status关闭:zkServer.sh stop kafka启动(注意必须在kafka的安装主目录下面执行该命令)...原创 2018-12-10 20:30:16 · 11265 阅读 · 2 评论 -
Hive collect、explode函数详解(包括concat、Lateral View)
转自https://blog.csdn.net/Abysscarry/article/details/81505953背景: 最近需要对业务系统数据进行ETL,供机器学习训练,我们需要对数据进行关联聚合,多行或多列数据转换为单行单列这种操作很常见;正好hive提供collect函数可以实现这种格式需求,我们在这整理下用法,顺便扩展一下~一、collect_set 和 collect_li...转载 2019-01-03 11:02:11 · 720 阅读 · 0 评论 -
HIVE_UDF函数小例子
UDTF: 一进多出即一个输入,多个输出。UDTF(User-Defined Table-Generating Function)支持一个输入多个输出,一般用于解析工作,比如说解析url,然后获取url中的信息编码:继承GenericUDTF,实现方法:initializa(返回返回值的参数类型)、process具体的处理方法,一般在这个方法中会调用父类的forward方法进行数据...转载 2019-01-03 11:07:59 · 501 阅读 · 0 评论 -
Hive-UDF&GenericUDF&Hive-UDTF&Hive-UDAF
hive udf简介在Hive中,用户可以自定义一些函数,用于扩展HiveQL的功能,而这类函数叫做UDF(用户自定义函数)。UDF分为两大类:UDAF(用户自定义聚合函数)和UDTF(用户自定义表生成函数)。在介绍UDAF和UDTF实现之前,我们先在本章介绍简单点的UDF实现——UDF和GenericUDF,然后以此为基础在下一章介绍UDAF和UDTF的实现。Hive有两个不同的接口编写...原创 2019-01-03 13:19:06 · 1611 阅读 · 1 评论 -
Hive UDAF和UDTF实现group by后获取top值
先自定义一个UDAF,由于udaf是多输入一条输出的聚合,所以结果拼成字符串输出,代码如下:public class Top4GroupBy extends UDAF { //定义一个对象用于存储数据 public static class State { private Map<Text, IntWritable> counts; ...原创 2019-01-03 13:23:11 · 987 阅读 · 0 评论