Hadoop伪分布模式安装

Hadoop四部分组成

• HDFS 分布式存储（128M一块）
• MapReduce 分布式计算
• Yarn 资源调度
• Common 自动提供的类和方法

伪分布模式

在一个虚拟机里模拟一个集群的运作，datanode每3秒向namenode发送心跳机制

整理default.xml配置文件

1.core-default.xml （common）
在hadoop-2.7.3 ->share->hadoop->common->hadoop-common-2.7.3.jar(右键解压打开,将core-default.xml拷贝出来)

2.hdfs-defalut.xml:\share\hadoop\hdfs\hadoop-hdfs-2.7.3.jar

3.mapred-default.xml:\share\hadoop\mapreduce\hadoop-mapreduce-client-core-2.7.3.jar

4.yarn-default.xml:\share\hadoop\yarn\hadoop-yarn-common-2.7.3.jar

以上为默认的配置文件属性，需要新建文件夹保存好

搭建伪分布

1. 修改配置文件

      找到hadoop的配置路径
   

1)修改core-site.xml

2)修改hdfs-site.xml

2. 修改hadoop-env.sh中的JAVA_HOME变量

3. 格式化HDFS namenode


成功生成namenode

修改权限

4. 开启HDFS


打开HDFSWebUI http://master:50070

5. 上传文件到根路径

上传成功


查看块池

6.伪分布搭建成功

ResourceManager管理NameNode
NodeManager管理DataNode