![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
窝头就辣椒
程序猿
展开
-
hive 参数调优
Map Reduce数量相关数据分片大小 (分片的数量决定map的数量) 计算公式: splitSize = Math.max(minSize, Math.min(maxSize, blockSize))123set mapreduce.input.fileinputformat.split.maxsize=750000000;单个reduce处理的数据量 (影响reduce的数量) 计算公...转载 2018-04-15 18:28:44 · 5624 阅读 · 0 评论 -
hive创建表格,简单创建及复杂创建(指定分隔符,存储格式、分区等)
1、hive表格简单创建create table test(id int,name string,tel string)然后show tables 就可以查看到已创建的表格了2、指定分隔符存储格式create table test(id int, name string ,tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'L...原创 2018-06-03 17:00:33 · 17547 阅读 · 0 评论 -
一种通用的数据仓库分层方法
0x00 概述数据分层是数据仓库设计中十分重要的一个环节,优秀的分层设计能够让整个数据体系更易理解和使用。而目前网络中大部分可以被检索到相关文章只是简单地提及数据分层的设计,或缺少明确而详细的说明,或缺少可落地实施的方案,或缺少具体的示例说明。因此,本文将指出一种通用的数据仓库分层方法,具体包含如下内容:1、介绍数据分层的作用2、提出一种通用的数据分层设计,以及分层设计的原则...转载 2019-03-15 10:10:27 · 992 阅读 · 0 评论