![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
奋斗的瘦胖子
作为一个码农小渣渣,开启执着的自驱学习之路!
展开
-
hive设定hadoop执行队列
指定队列命令有如下三种:set mapred.job.queue.name=low; 一般是老版本set mapreduce.job.queuename=high; 一般是新版本set mapred.queue.names=mid;具体是哪种?大家可以根据自己使用的版本自己测试一下。...原创 2020-01-20 15:11:33 · 1387 阅读 · 0 评论 -
日常error系列:ClassNotFoundException in Hive using JsonSerDe
日常跑spark任务,任务跑起来的时候报错:错误信息:java.lang.ClassNotFoundException: org.openx.data.jsonserde.JsonSerDejava.lang.RuntimeException: java.lang.ClassNotFoundException: org.openx.data.jsonserde.JsonSerDespark...原创 2019-03-21 11:40:02 · 523 阅读 · 0 评论 -
初识hive数据仓
本文内容来自paper:Hive – A Petabyte Scale Data Warehouse Using Hadoop使我,对hive有了初步的认识了解。后续继续深入学习摘要在商业人工智能行业中,正在收集和分析的数据集的规模正在迅速增长,使得传统的数据仓储解决方案的成本过高。Hadoop是一个流行的开源的map-reduce实现,它被雅虎、Facebook等公司用来存储和处理超大数据...原创 2019-04-01 20:41:40 · 602 阅读 · 0 评论 -
数据仓分层的意义及如何优雅地设计数据分层
转载自:http://bigdata.51cto.com/art/201710/554810.htm为什么要分层我们对数据进行分层的一个主要原因就是希望在管理数据的时候,能对数据有一个更加清晰的掌控,详细来讲,主要有下面几个原因:1.清晰数据结构:每一个数据分层都有它的作用域,这样我们在使用表的时候能更方便地定位和理解。2.数据血缘追踪:数据使用过程中,我们最终给业务呈现的是一张能直接...原创 2019-05-07 19:39:54 · 3713 阅读 · 3 评论 -
hive中UDF,UDAF,UDTF编写和使用学习
UDF,UDAF,UDTF三个函数是Hive中常用的自定义函数,这些函数可以实现复杂的功能,且可以重复使用。这篇文档,我们了解一下UDF,UDAF,UDTF三个函数编写和使用学习UDF(User-Defined Functions)功能特点:输入一条数据,输出一条数据;是一个一对一的关系,属于单纯处理操作。用途说明:UDF函数可以直接应用于hive中的select语句,对查询结果做格式...原创 2019-07-26 14:33:35 · 862 阅读 · 0 评论