![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
小呀么小白兔
这个作者很懒,什么都没留下…
展开
-
MapReduce的八大步骤:
MapTask运行机制详解 整个MapTask的简要概述: 首先一个文件被split逻辑切分成了多个split文件(切片), 通过FileInputFormat的RecordReader按行(也可以自定义)读取内容给map进行处理, 数据被map处理结束后交给OutputCollector收集器, 对其结果key进行分区 (默认使用Hash分区), 然后写入内存缓冲区(buffer), 每个MapTask都有一个内存缓冲区, 收集map处理结果, 缓冲区很小需要重复利用, 每次缓冲区快满的时候就会将临时原创 2020-10-19 19:20:26 · 1074 阅读 · 0 评论 -
hadoop3.1.3格式化NameNode后,启动Namenode,报错
1.格式化NameNode后,启动Namenode,报错 报错内容: ERROR: Cannot set priority of namenode process XXXX 尝试方法: 一: 1.检查core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 2.删除data,log文件,重新格式化后,启动Namenode,扔报错 此方法无效,仍是报错 二: 尝试百度,提示有可能为环境变量问题 最终解决方法 1.首先查询日志.原创 2020-10-12 17:52:36 · 1712 阅读 · 1 评论 -
深入剖析为什么HDFS文件块(block)大小设定为128M
最近看到这个面试问题,CSDN搜了半天也没有确切答案,查询资料思考后总结如下: 我们在HDFS中存储数据是以块(block)的形式存放在DataNode中的,块(block)的大小可以通过设置dfs.blocksize来实现; 在Hadoop2.x的版本中,文件块的默认大小是128M,老版本中默认是64M; 目录 一、为什么HDFS中块(block)不能设置太大,也不能设置太小? 二、 HDFS中块(block)的大小为什么设置为128M? 寻址时间:HDFS中找到目标文件块(blo...原创 2020-10-09 19:57:46 · 673 阅读 · 0 评论