关注
分享
强悍de巨人
微：eshrank 认识新伙伴，共同进步
展开
-
【若泽大数据实战第十一天】Hadoop生态系统官网、下载地址、文档
Apache版本： Hadoop官网：http://hadoop.apache.org/Hadoop下载：http://mirror.bit.edu.cn/apache/hadoop/common/Hadoop历史版本下载：http://archive.apache.org/dist/hadoop/core/Hadoop文档：http://hadoop.apache.org/docs/Hive官网...原创 2018-05-21 16:44:09 · 520 阅读 · 0 评论 -
【若泽大数据实战第十一天】HDFS启动过程详解
前言：整理HDFS整个启动的详细过程Namenode保存文件系统元数据镜像，namenode在内存及磁盘（fsimage和editslog）上分别存在一份元数据镜像文件，内存中元数据镜像保证了hdfs文件系统文件访问效率，磁盘上的元数据镜像保证了hdfs文件系统的安全性。namenode在磁盘上的两类文件组成：fsimage文件：保存文件系统至上次checkpoint为止目录和文件元数据。edit...原创 2018-05-21 20:08:36 · 355 阅读 · 0 评论 -
【若泽大数据Hadoop实战】Hadoop：1、Hadoop基础与编译
Hadoop基础大数据概述可以用“5V + 1C”来概括： Variety (多样化） Volume (海量） Velocity (快速） Vitality (灵活） Value (价值性） Complexity (复杂）Hadoop与Hadoop生态圈Hadoop狭义: 软件(HDFS、MapReduce、Yarn)广义: 以hadoop为主的...原创 2018-05-15 13:52:51 · 364 阅读 · 0 评论 -
【若泽大数据Hadoop实战】Hadoop：4、HDFS详解
架构设计NameNode存储:文件系统的命名空间文件名称文件目录结构文件的属性（权限 创建时间 副本数）文件对应哪些数据块 –> 这些数据块对应哪些DataNode节点上不会持久化存储这个映射关系，是通过集群的启动和运行时，DataNode定期发送blockReport给NameNode，以此NameNode在【内存】中动态维护这种映射关系。作用：管理文件系统的命名空间。它维护着文件系统树及...原创 2018-05-15 14:02:10 · 320 阅读 · 0 评论