Hadoop分布式系统搭建（1）

Hadoop分布式系统搭建（1）

1、操作系统和分配

• 操作系统
  • CentOS-7-x86_64-Minimal-1804.iso
  • 虚拟机安装，使用NAT模式
• 主机分配

IP	主机名	主机域名	角色
192.168.10.130	f1	bob-tech1.hadoop.com	master
192.168.10.131	f2	bob-tech2.hadoop.com	slave
192.168.10.132	f3	bob-tech3.hadoop.com	slave

2、基本环境配置

• ifconfig配置

  • CentOS 7最小化系统，使用“ip addr”和“ip link”命令来查找网卡详情
  • 使用命令安装：yum install net-tools

• 下载安装JDK1.8版本，配置环境环境变量

  • wget https://download.oracle.com/otn-pub/java/jdk/8u191-b12/2787e4a523244c269598db4e85c51e0c/jdk-8u191-linux-x64.tar.gz
  • [root@localhost opt]# tar zxvf /root/jdk-8u191-linux-x64.tar.gz -C .
  • 配置环境变量/etc/profile,配置后执行source /etc/profile生效配置

  JAVA_HOME=/opt/jdk1.8.0_191
  PATH=$JAVA_HOME/bin:$PATH
  CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/tools.jar
  export JAVA_HOME PATH CLASSPATH
  

• 修改/etc/hostname

  • f1
    

• 修改/etc/hosts文件

  192.168.10.130 bob-tech1.hadoop.com f1
  192.168.10.131 bob-tech2.hadoop.com f2
  192.168.10.132 bob-tech3.hadoop.com f3
  

• 下载hadoo安装包

  • wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

  • 本例子中下载的版本为2.9.2，安装路径为/opt

    • tar -zxvf hadoop-2.9.2.tar.gz -C /opt
      

  • 修改/opt/hadoop-2.9.2/etc/hadoop/hadoop-env.sh中JAVA_HOME的地址

    • export JAVA_HOME=/opt/jdk1.8.0_191
      

  • 修改core-site.xml

    • <configuration>
        <!-- 指定hdfs的nameservice为ns1 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://f1:9000</value>
        </property>
      
        <property>
            <name>io.file.buffer.size</name>
            <value>131072</value>
        </property>
      </configuration>
      

  • 修改 hdfs-site.xml

    • <configuration>
      
      <!-- Configurations for NameNode: -->
      <property>
      	<name>dfs.namenode.name.dir</name>
      	<value>/opt/hadoop-2.9.2/dfs/name/</value>
      </property>
      
      <property>
      <name>dfs.blocksize</name>
      <value>268435456</value>
      </property>
      
      <!-- math.log(N) * 20 #N 集群服务器数量 -->
      <!-- namenode的连接处理的线程数量 -->
      <property>
      	<name>dfs.namenode.handler.count</name>
      	<value>100</value>
      </property>
      
      <!-- Configurations for DataNode: -->
      <property>
      	<name>dfs.datanode.data.dir</name>
      	<value>/opt/hadoop-2.9.2/dfs/data/</value>
      </property>
      
      <property>
      	<name>dfs.replication</name>
      	<value>1</value>
      </property>
      
      </configuration>
      

  • 修改 mapred-site.xml

    • <configuration>
      <!-- Configurations for MapReduce Applications: -->
      	<property>
      		<name>mapreduce.framework.name</name>
      		<value>yarn</value>
      	</property>
      </configuration>
      

  • 修改 yarn-site.xml

    • <configuration>
      <!-- Site specific YARN configuration properties -->
      <!-- Configurations for ResourceManager and NodeManager: -->
      <!-- Configurations for ResourceManager: -->
      	<property>
      		<name>yarn.resourcemanager.hostname</name>
      		<value>f1</value>
      	</property>
      	<!-- 配置外网yarn web 否则默认为 localhost:8088 -->
      	<property>
      	<name>yarn.resourcemanager.webapp.address</name>
      	<value>f1:8088</value>
      	</property>
      	<!-- Configurations for NodeManager: -->
      	<property>
      		<name>yarn.nodemanager.aux-services</name>
      		<value>mapreduce_shuffle</value>
      	</property>
      <!-- Configurations for History Server (Needs to be moved elsewhere): -->
      </configuration>
      

  • 修改 slaves

    •  f2
       f3
      

  • 克隆虚拟机f2,f3,并修改IP , /etc/hostname, /etc/hosts