![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
123akai
这个作者很懒,什么都没留下…
展开
-
Hive安装启动问题
一、启动hive报如下错误:解决方法:hadoop主目录下的share/hadoop/yarn/lib/jline-*.*删除即可。原因:尚不可知。原创 2017-02-23 10:15:46 · 296 阅读 · 0 评论 -
Hive-视图
一、使用视图来简化查询二、使用视图来限制基于条件过滤的数据三、动态分区中的视图和map类型原创 2017-03-19 09:18:36 · 307 阅读 · 0 评论 -
Hive-模式设计
一、按天划分表二、关于分区 通过创建分区可以优化一些查询,但同时也可能对其他一些重要的查询不利。 HDFS用于设计存储数百万的大文件,而非数十亿的小文件。使用分区可能导致的一个问题就是会创建大量的非必须的Hadoop文件和文件夹。一个分区就对应着一个包含有多个文件的文件夹。如果指定的表存在数百个分区,那么可能每天都会创建好几万个文件。如果保持这样的表很多年,那么最终会超出NameN原创 2017-03-19 09:30:58 · 456 阅读 · 0 评论 -
hive-文件格式和压缩方法
压缩的优势:可以最小化所需要的磁盘存储空间,以及减小磁盘和网络I/O操作。 缺点:压缩过程和解压过程会增加CPU开销。二、压缩/解码器1、压缩方案(1)GZIP和BZip2(内置)(2)Snappy(3)LZO2、压缩方法比较:(1)BZip2压缩率最高,但是同时需要消耗最多的CPU开销。(2)GZip是压缩率和压缩/解压缩速度上的下一个选择原创 2017-03-21 08:37:04 · 1097 阅读 · 0 评论