![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习之hadoop
该专栏为本人大数据学习总结,如有错误欢迎提出
会写代码的司机
这个作者很懒,什么都没留下…
展开
-
大数据hadoop之yarn
一、YARN概述 yarn是一个资源调度平台负责为运算程序提供服务器运算资源,相当于一个分布式操作系统平台,mr等程序在上面运行。 二、yarn基本架构 resoucemanage、nodemanage、applicationmaster、container等 三、yarn任务提交流程 mr程序把任务提交到客户端所在节点 客户端提交给resourcemanage申请一个applicat...原创 2020-04-12 22:41:25 · 157 阅读 · 0 评论 -
大数据Hadoop之mapreduce
1、MapReduce概述 mapReduce是hadoop一个分布式运算程序的编程框架,运行在yarn上。 2、MapReduce过程 input-----inputformat----->mapper__suffle__>reduce------outputformat--->output 文件由inputformat切片后创建了对应数量的maptask处理文件(一...原创 2020-04-12 18:28:09 · 211 阅读 · 0 评论 -
大数据Hadoop之hdfs
11原创 2020-04-12 15:43:17 · 94 阅读 · 0 评论