![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 78
dandesy
这个作者很懒,什么都没留下…
展开
-
hadoop学习笔记2
hadoop权威指南Hadoop文件系统:namenode管理文件系统的命名空间,维护文件系统树及整颗树内所有文件和目录,这些信息以两个文件形式永久保存在本地磁盘上:命名空间镜像文件和编辑日志文件。 datanode也记录着每个该文件中各个块所在的数据节点信息,但不永久保存块的位置信息,因为这些信息会在系统启动时由数据节点重建。 HDFS的块比磁盘的块大,其目的是为了最小化寻址开销(磁盘传输时间远...原创 2018-03-15 20:32:35 · 158 阅读 · 0 评论 -
IO操作
Hadoop的I/O操作数据完整性监测数据是否损坏常用:计算校验和(不能修复数据)HDFS的数据完整性:HDFS对写入的所有数据计算校验和,并在读取数据时验证校验和。针对每个由io.bytes.per.checksum(默认512)指定的字节的数据计算校验和。datanode负责收到数据后存储数据及验证校验和。 客户端从datanode读取数据时,验证校验和,每个datan...原创 2018-07-30 14:40:57 · 500 阅读 · 0 评论 -
MapReduce的工作机制
单机模式:用于对MapReduce程序的逻辑进行调试,用于开发和调试默认处于该模式使用本地文件系统,而不是HDFSmap和reduce任务作为同一个进程的不同部分来执行伪分布式模式:开发测试Hadoop程序执行是否正确在一台主机模拟多主机Hadoop启动namenode,datanode,jobtracker,tasktracker这些守护进程在同一台机器上运行,是相互独立...原创 2018-08-04 20:44:18 · 391 阅读 · 0 评论