![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 79
Furys
这个人不懒,但什么都不想写
展开
-
hadoop中的MapReduce,详解(带自己画的图 )
写在前面: 如果本文有错误的地方还望大佬指出,小弟不胜感激.MapReduce的框架介绍1.1. 说道mapreduce不得不说一下他的设计思想MapReduce的核心思想就是 “分而治之” 那什么是分而治之呢?举个例子: 就比如说古代皇帝要去管理一整个国家,但是他一个人肯定是管理不过来的,然后就有了宰相,大臣等,但是这些人也管理不过来,于是就继续往下分,就有了县官等等. 由县官将每个县的问题上报给大臣,然后又有大臣上报给宰相或者皇帝.这里我们可以理解成两个mapreduce,县官到大臣的过程中,原创 2020-05-17 17:22:58 · 782 阅读 · 0 评论 -
hadoop的写流程,详解(带自己画的图)
写在前面: 不考虑HA和Federation架构,如果本文有错误的地方还望大佬指出,小弟不胜感激.1.客户端通过shell命令的方式传输文件到HDFS上(申请上传)hdfs dfs -put a.txt /tmp#如果添加了-f就会覆盖掉hdfs上/tmp/a.txt文件2.namenode检查文件夹是否存在,检查文件是否存在,如果文件夹不存在是肯定不能上传的,如果文件存在就要看有没有覆盖写入了3.返回允许上传通知1-3步图片4.判断文件的大小,然后切割文件,默认按照128m去切割(had原创 2020-05-11 00:26:38 · 871 阅读 · 4 评论