- 博客(3)
- 资源 (6)
- 收藏
- 关注
原创 一文弄懂HDFS基本原理和架构
文章目录概述HDFS架构(Hadoop1.x)ClientNameNode(Master)DataNode(Slave)Secondary NameNodeHDFS 副本存放策略NameNode工作原理SecondNameNode与NameNode交互DataNode与NameNode交互![在这里插入图片描述](https://img-blog.csdnimg.cn/20190609163327...
2019-06-09 16:38:13 2391
原创 一文弄懂Hive基本架构和原理
文章目录概述Hive架构Hive数据模型Hive SQL的编译Hive执行计划Hive Sql的MapReduce实现原理Join的实现原理Group By的实现原理Distinct的实现原理Hive文件压缩和文件存储**Hive建表指定文件格式**Hive建表指定压缩Hive动态设置压缩Hive中间数据压缩Hive最终数据压缩Hive Map和Reduce数量计算Map数量Reduce数量数据倾...
2019-06-07 19:28:39 16032 2
原创 Hive常见调优技巧
文章目录减少数据量并行化执行开启动态分区开启JVM重用防止数据倾斜MapJoin自动判断手动设置map阶段优化reduce阶段优化方法1方法2合并小文件减少数据量第一原则先降数据量再join并行化执行set hive.exec.parallel=true;set hive.exec.parallel.thread.number=8;hive默认job是顺序进行的,一个HQL拆分成多个j...
2019-06-04 20:28:24 1770
nm-local-dir(删除jar版).zip
2020-04-06
scrapy入门例子-tutorial
2015-08-29
jQuery特效之浮动div模式框
2015-01-26
理解的ThreadLocal类的相关源码(用于博文引用源码下载)
2014-08-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人