- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 SQL中NVL函数的使用
含义nvl是用于判断某字段值是否为空然后作以相关处理的函数（如果学过Java或其他编程语言可以说类似于简易版的三元表达式）分类1. 两个参数的nvl函数：nvl(str1,str2) a. 含义：如果第一个参数不为空的话，则该表达式返回第一个参数的值，若第一个参数为空时，则返回第二个参数的值。 b. 应用场景： i. 可以设置字段如果为空的默认值。例如如果一个人在注册游戏时不填写用户名称时默认取你注册用的微信名称一样。 ii. 也可以用于外关联(join
2020-09-28 18:37:56
2605
原创 在Hive中如何向分桶表中插入数据
在Hive中如何向分桶表中插入数据 我们知道,对于分桶表,是不能使用 load data 的方式进行插入数据的操作的,因为load data 导入数据不会有分桶结构. 为了避免针对桶表使用load data 进行插入数据的操作,我们可以限制对桶表进行load操作, set hive.strict.checks.bucketing = true; 也可以在CM的hive配置项中修改此配置，当针对桶表执行load data操作时会报错。 针对文本数据,想要导入到Hive分桶
2020-09-14 14:14:00
2932
1
原创 Hive的使用之分桶表
Hive分桶分桶是将数据分解成更容易管理的若干部分的一个技术,比分区有着更为细粒度的数据范围划分.为什么要进行分桶呢?1**. 利用分桶表,我们能获得更高效的查询处理效率.**当分区数量过于庞大以至于可能导致文件系统崩溃时,或者我们找不到合理的分区字段时,可以考虑使用分桶表来解决问题.同时,分区与分桶并不冲突,可以对分区后的数据进一步进行分桶.分区针对的是对文件的存储路径进行划分,进而分成一个个不同的文件夹,这样的数据是容易造成数据倾斜的.而分桶的原理是按照哈希值对数据打散，并分发到各个不同的桶中
2020-09-14 11:37:03
254
原创 Hiveserver2异常退出，导致连接失败的问题。
Could not connect to hadoop02:10000(code THRIFTTRANSPORT):TTransportExportException(‘Could not connect to hadoop02:10000’,)解决方法：修改HiveServer2 的 Java 堆栈大小.默认配置为50MB,比较小,运行时会出现上面的错误以及运行卡顿的情况,建议将值根据自己的系统配置调大....
2020-09-11 17:31:49
1418
1
原创 hive中内存溢出问题的解决方法.
Error while processing statement: FAILED:Execution Error,return code 137 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask优化方法有一下几种:一:是调大内存(Yarn和MR)二:是开启有序动态分区，三:是关闭mapjoin四:是分批执行计算五:是使用本地模式关闭mapjoin：set hive.auto.convert.join=false;开启本地模式：se
2020-09-11 17:23:38
1765
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人