Hadoop
文章平均质量分 72
饥渴计科极客杰铿
最讨厌伸手党,而不巧本人也是伸手党
展开
-
Hadoop日记——安装、配置、启动HDFS
上一篇博客主要讲了HDFS的组成部分和机制,这篇博客给大家讲讲如何安装、配置、启动HDFS这次讲的HDFS是伪分布式的(单台服务器)1. 下载和解压Hadoop1.2.1下载wget http://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz解压 tar -zxvf hadoop-1.2.1.tar原创 2017-06-24 16:10:12 · 639 阅读 · 0 评论 -
Hadoop日记——分布式文件系统HDFS
NameNode(NN) NameNode主要功能:接受客户端的读写服务NameNode保存metadata信息包括: 文件ownership和permission文件包含哪些块Block保存在哪个DataNode(由DataNode启动时上报)NameNode的metadata信息在启动后会加载到内存 metadata储存到磁盘文件名为“fsimage”Block的位置信息不会保原创 2017-06-23 18:29:27 · 491 阅读 · 0 评论 -
Hadoop日记——Hadoop2.x介绍
Haddop2.x在1.x基础上做了很多的改进,主要增加和改进了4个部分:HA,Federation,YARN,MapReduce On YARN 1. HAHadoop中的NameNode好比是人的心脏,绝对不可以停止工作。在Hadoop1.x时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是Hadoop1.x中的单点问题,也是Hadoop1原创 2017-06-25 15:34:42 · 389 阅读 · 0 评论