Hadoop集群搭建__9.Hadoop安装

一、Hadoop安装

1. 上传文件到/export/server(tunabook102)(tunabook103)(tunabook104)
   

2. 解压缩文件(tunabook102)(tunabook103)(tunabook104)

   tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
   

3. 配置环境变量(tunabook102)(tunabook103)(tunabook104)

   vim /etc/profile
   

   # 新增加的代码
   export HADOOP_HOME=/export/server/hadoop-3.3.0
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   source /etc/profile
   

4. 修改配置文件(tunabook102)(tunabook103)(tunabook104)

   cd /export/server/hadoop-3.3.0/etc/hadoop
   

   vim core-site.xml
   

   <configuration>
   <!-- 新增加的代码 -->
           <!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
   <!-- 设置NameNode对外提供HDFS服务的端口 -->
   <property>
       <name>fs.defaultFS</name>  
       <value>hdfs://tunabook102:8020</value>
   </property>
   
   <!-- 设置Hadoop本地保存数据路径 -->
   <property>
       <name>hadoop.tmp.dir</name>
       <value>/export/data/hadoop-3.3.0</value>
   </property>
   
   <!-- 设置HDFS web UI用户身份 -->
   <property>
       <name>hadoop.http.staticuser.user</name>
       <value>root</value>
   </property>
   
   <!-- 整合hive 用户代理设置 -->
   <property>
       <name>hadoop.proxyuser.root.hosts</name>
       <value>*</value>
   </property>
   
   <property>
       <name>hadoop.proxyuser.root.groups</name>
       <value>*</value>
   </property>
   <!-- 关闭用户认证 -->
   <property>
       <name>hadoop.security.authorization</name>
       <value>false</value>
   </property>
   </configuration>
   

   vim hadoop-env.sh
   

   # 新增加的内容
   export JAVA_HOME=/export/server/jdk1.8.0_65
   
   #文件最后添加
   export HDFS_NAMENODE_USER=root
   export HDFS_DATANODE_USER=root
   export HDFS_SECONDARYNAMENODE_USER=root
   export YARN_RESOURCEMANAGER_USER=root
   export YARN_NODEMANAGER_USER=root 
   

   vim hdfs-site.xml
   

   <configuration>
   <!-- 新增加的内容 -->
   <!-- 设置SNN进程运行机器位置信息 -->
   <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>tunabook103:9868</value>
   </property>
   </configuration>
   

   vim mapred-site.xml
   

   <!-- 新增加的代码 -->
   <configuration>
   <!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
   <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
   </property>
   
   <!-- MR程序历史服务器端地址 -->
   <property>
     <name>mapreduce.jobhistory.address</name>
     <value>tunabook102:10020</value>
   </property>
    
   <!-- 历史服务器web端地址 -->
   <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>tunabook102:19888</value>
   </property>
   
   <property>
     <name>yarn.app.mapreduce.am.env</name>
     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
   </property>
   
   <property>
     <name>mapreduce.map.env</name>
     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
   </property>
   
   <property>
     <name>mapreduce.reduce.env</name>
     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
   </property>
   </configuration>
   
   

   vim yarn-site.xml
   

   <!-- 新增加的代码 -->
   <configuration>
   
   <!-- Site specific YARN configuration properties -->
   
   <!-- Site specific YARN configuration properties -->
   <!-- 设置YARN集群主角色运行机器位置 -->
   <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>tunabook102</value>
   </property>
   
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
   
   <!-- 是否将对容器实施物理内存限制 -->
   <property>
       <name>yarn.nodemanager.pmem-check-enabled</name>
       <value>false</value>
   </property>
   
   <!-- 是否将对容器实施虚拟内存限制。 -->
   <property>
       <name>yarn.nodemanager.vmem-check-enabled</name>
       <value>false</value>
   </property>
   
   <!-- 开启日志聚集 -->
   <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
   </property>
   
   <!-- 设置yarn历史服务器地址 -->
   <property>
       <name>yarn.log.server.url</name>
       <value>http://tunabook102:19888/jobhistory/logs</value>
   </property>
   
   <!-- 保存的时间7天 -->
   <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
   </property>
   </configuration>
   

   vim workers
   

   tunabook102
   tunabook103
   tunabook104
   

二、Hadoop启动

1. 初始化Hadoop（tunabook102）

   hdfs namenode -format
   

2. 启动服务（tunabook102）

   start-all.sh 
   

3. 启动成功