- 博客(2)
- 收藏
- 关注
RSS订阅原创 Hadoop之mapred
Hadoop之Mapred1.1 Mapred的大致流程1.2Mapred的详细流程文件File：文件要存储在HDFS中，每个文件切分成多个一定大小（默认64M）的Block（默认3个备份）存储在多个节点（DataNode）上。文件数据内容：We are studying at school.\n We are studying at school.\n…输入和拆分：不属于map和reduce的主要过程，但属于整个计算框架消耗时间的一部分，该部分会为正式的map过程准备数据。（split）
2021-08-15 09:25:14
592
原创 hadoop之hdfs
Hadoop之HDFS1.1 HDFShdfs 是分布式的文件管理系统优点 : 缺点 :, 不支持低延时的数据访问。 例如毫秒级的。, 无法对大量的小文件进行存储 存储大量小文件的话， 它会占用NameNode大量的内存来存储文件目录和块信息。 这样是不可取的， 因为NameNode的内存总是有限的； 小文件存储的寻址时间会超过读取时间， 它违反了HDFS的设计目标。HDFS中每个文件、目录、数据块占用150Bytes。如果存放的文件数目过多的话会占用很大的内存
2021-08-09 23:19:49
366
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人