![](https://img-blog.csdnimg.cn/20191105184109651.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hive
潜心_守道
这个作者很懒,什么都没留下…
展开
-
Hive表存储格式的介绍和比较
一、四种存储格式介绍1、TestFile TextFile文件不支持块压缩,默认格式,数据不做压缩,磁盘开销大,数据解析开销大。这边不做深入介绍。2、RCFile Record Columnar的缩写。是Hadoop中第一个列文件格式。能够很好的压缩和快速的查询性能,但是不支持模式演进。通常写操作比较慢,比非列形式的文件格式需要更多的内存空间和计算量。&nbs...转载 2020-02-20 18:44:07 · 297 阅读 · 0 评论 -
Hive的优化
https://blog.csdn.net/weixin_38073885/article/details/88799894转载 2020-02-12 22:01:09 · 125 阅读 · 0 评论 -
大数据面试系列之——Hive
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据1.Hive与传统数据库的区别1、数据存储位置:Hive是建立在Hadoop之上的,所有的Hive的数据都是存储在HDFS中的。而数据库则可以将数据保存在块设备或本地文件系统中。2、数据格式:Hive中没有定义专门的数据格式,由用户指定,需要指定三个属性:列分隔符,行分隔符,以及读取文件数据的方法。数据库中,存储引擎定义了自己的...原创 2020-02-12 21:55:17 · 979 阅读 · 0 评论 -
Hive内存溢出常见问题
MapReduce作业运行过程中内存溢出错误分类1、Mapper/Reducer阶段JVM内存溢出(一般都是堆)1)JVM堆(Heap)内存溢出:堆内存不足时,一般会抛出如下异常:第一种:“java.lang.OutOfMemoryError:” GC ove...转载 2019-05-07 11:25:53 · 1997 阅读 · 0 评论 -
Hive中日期格式的转换
yyyy-mm-dd与yyyymmdd日期格式之间的相互转换:1.yyyy-mm-dd转换为yyyymmddregexp_replace(‘yyyy-mm-dd’ ,’-’,’’)from_unixtime(unix_timestamp(‘2019-08-28’,‘yyyy-mm-dd’),‘yyyymmdd’)concat(substr(‘2018-08-28’,1,4),substr...原创 2019-08-28 18:01:21 · 3599 阅读 · 0 评论