大数据学习(1)-Hadoop HDFS基础分布式集群搭建及使用

最新推荐文章于 2024-06-29 17:09:02 发布

问题不太大

最新推荐文章于 2024-06-29 17:09:02 发布

阅读量1.4w

点赞数 3

分类专栏：大数据 Hadoop 文章标签：大数据 Hadoop HDFS

本文链接：https://blog.csdn.net/M283592338/article/details/90937171

版权

本篇博客详细介绍了如何在CentOS6.5环境下搭建Hadoop HDFS的基础分布式集群，包括环境配置、Hadoop安装、配置文件修改、环境变量设置、NameNode格式化、集群启动与停止、HDFS的shell操作以及通过浏览器访问HDFS的方法。

摘要由CSDN通过智能技术生成

HDFS分布式集群搭建【基础版】

环境：以CentOS6.5为例

环境：以CentOS6.5为例

防火墙关闭并关闭自启
selinux设置关闭
设置主机名
设置主机映射 jdk1.7
ssh免密登陆
hadoop-2.5.2

准备

解压hadoop，并在hadoop根目录下创建 data/tmp目录

配置文件修改

配置文件位置：hadoop目录下的etc/hadoop
hadoop-env.sh

    export JAVA_HOME=/usr/java/jdk1.7.0_71    #jdk路径

core-site.xml

 <!--  用于设置namenode并且作为Java程序的访问入口  -->
 <!--  hadoop1.msk.com 为主机名  -->
        <property>		
             <name>fs.defaultFS</name>
             <value>hdfs://hadoop1.msk.com:8020</value>
        </property>
       <!--  存储NameNode持久化的数据，DataNode块数据  -->
       <!--  手工创建$HADOOP_HOME/data/tmp  -->
        <property>