qq_43119740的博客

文章目录hive企业级调优一、explain二、fetch三、本地模式四、表优化1、小表 join 大表 （map join）2、大表 join 大表3、GROUP BY 数据倾斜4、COUNT(DISTINCT)5、避免笛卡尔积6、分区、分桶7、过滤非必要数据8、小文件合并9、合理设置map、reduce的任务数量10、任务阶段无依赖并行执行11、严格模式五、JVM重用六、引擎优化 hive企业级调优 hive调优学习 一、explain 1、explain 2、explain extened 二、fe

SQL截取字段字符串的方法 set @str=‘WX15-53-H-53-99-15-335-23’; select @str as ‘字符串’ select len(@str) as ‘字符长度’ select charindex(’-’,@str,1) as ‘第一个逗号的索引值’ select LEFT(@str,charindex(’-’,@str,1)-1) as ‘第一个值’ sele...

Kafka史上最详细原理总结 Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等...