hadoop HDFS 的安装与配置

hadoop HDFS 的安装与配置

相关文件的处理

1. 直接下载hadoop后解压
2. 环境变量的配置，在安装目录的hadoop下：gedit hadoop-env.sh
   配置结束直接保存
   3.配置yarn-env.sh gedit yarn-env.sh
   
   4.配置核心组件文件

[zhd@zhd hadoop]$ gedit core-site.xml

  <!-- 指定HDFS老大（namenode）的通信地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://zhd:9000</value>
</property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/zhd/hadoopdata</value>
</property>
[zhd@zhd hadoop]$ gedit hdfs-site.xml

<!-- 设置hdfs副本数量 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>

[zhd@zhd hadoop]$ gedit yarn-site.xml

<!-- Site specific YARN configuration properties -->

 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>zhd:18040</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>zhd:18030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>zhd:18025</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>zhd:18141</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>zhd:18088</value>
  </property>
  
[zhd@zhd hadoop]$ gedit mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

文件配置结束
将节点名称保存在slaves 文件中

gedit slaves

zhd2
zhd3
此处为非主节点的服务器名称，集群搭建的时候修改的localhost的名称
搭建好一台后可使用
[zhd@zhd hadoop]$ scp -r /home/soft/hadoop-2.9.2 zhd@zhd2:~/
复制到节点服务器上
环境变量的配置

gedit ~/.bash_profile
export HADOOP_HOME=/home/soft/hadoop-2.9.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

注意：每个集群节点都要配置
创建数据目录（每个节点也需要创建）创建目录同core-site.xml文件配置中的
<property> <name>hadoop.tmp.dir</name> <value>/home/zhd/hadoopdata</value> </property>
路径
格式化文件

hdfs namenode -format

运行结束后 hadoop的sbin目录下运行

start-dfs.sh
start-yarn.sh

使用jps命令查看

[zhd@zhd hadoop]$ jps
15669 Jps
4008 ResourceManager
3562 NameNode
3759 SecondaryNameNode
[zhd@zhd hadoop]$ 

在浏览器中查看

到此结束