hdfs
大数据爱好者社区
关注博主个人微信公众号:bigdata_shequ,每天会更新大数据、人工智能前沿技术!
展开
-
cdh版本的hadoop安装及配置(伪分布式模式) MapReduce配置 yarn配置
友情提示:更多有关大数据、人工智能方面技术文章请关注博主个人微信公众号:高级大数据架构师!安装hadoop需要jdk依赖,我这里是用jdk8jdk版本:jdk1.8.0_151hadoop版本:hadoop-2.5.0-cdh5.3.6hadoop下载地址:链接:https://pan.baidu.com/s/1qZNeVFm 密码:cilnjdk下载地址:链接:https:/...原创 2018-05-10 23:16:44 · 2234 阅读 · 1 评论 -
Mapreduce & yarn
友情提示:更多有关大数据、人工智能方面技术文章请关注博主个人微信公众号:高级大数据架构师!特点:1、分布式并行计算2、主要核心功能:排序,默认的排序方式是按照key进行排序概念定义:1、MapReduce执行流程涉及到Client、ResourceManager、NodeManager、ApplicationMaster、Container、Task2、其中Client是提交Mapr...原创 2018-06-08 10:47:36 · 587 阅读 · 0 评论 -
彻底理解MapReduce shuffle过程原理
友情提示:更多有关大数据、人工智能方面技术文章请关注博主个人微信公众号:高级大数据架构师!MapReduce的Shuffle过程介绍Shuffle的本义是洗牌、混洗,把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程,把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么MapReduce计算模型需要Shuffle过...原创 2018-06-08 11:10:24 · 447 阅读 · 0 评论