Hadoop
文章平均质量分 60
Haven.Liu
龙七
展开
-
Hive资源调优
一、OOMBuffer OOM堆栈溢出Caused by: java.lang.OutOfMemoryError: Java heap spaceat org.apache.hadoop.hive.serde2.WriteBuffers.nextBufferToWrite(WriteBuffers.java:261)at org.apache.hadoop.hive.serde2.WriteBuffers.write(WriteBuffers.java:237)at org.apache.h原创 2021-01-21 20:45:25 · 960 阅读 · 1 评论 -
HiveSQL 整理
一、COALESCE() // [ˌkəʊəˈles]结合;联合COALESCE是一个函数, (expression_1, expression_2, ...,expression_n)依次参考各参数表达式 -- 遇到非null值即停止并返回该值。如果所有的表达式都是空值,最终将返回一个空值。使用场景:1)假如某个字段默认是null,你想其返回的不是null,而是比如0或其他值,可以使用这个函数SELECT COALESCE(field_name,0) as valu...原创 2020-07-21 11:25:38 · 1061 阅读 · 0 评论 -
Hadoop命令汇总
一、hadoop fs 命令1、hadoop fs –fs [local | <file system URI>]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop的DFS。如果传递ur原创 2020-07-30 16:05:16 · 310 阅读 · 0 评论