安装配置hadoop

大数据集群搭建（7）：

安装配置hadoop：

• 上传文件 /export/server

• 解压 tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz

• 配置环境变量 vim /etc/profile

  export HADOOP_HOME=/export/server/hadoop-3.3.0
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  
  # 注意
  source /etc/profile
  

• 修改配置文件

  • core-site.xml

  <!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://a1:8020</value>
  </property>
  
  <!-- 设置Hadoop本地保存数据路径 -->
  <property>
      <name>hadoop.tmp.dir</name>
      <value>/export/data/hadoop-3.3.0</value>
  </property>
  
  <!-- 设置HDFS web UI用户身份 -->
  <property>
      <name>hadoop.http.staticuser.user</name>
      <value>root</value>
  </property>
  
  <!-- 整合hive 用户代理设置 -->
  <property>
      <name>hadoop.proxyuser.root.hosts</name>
      <value>*</value>
  </property>
  
  <property>
      <name>hadoop.proxyuser.root.groups</name>
      <value>*</value>
  </property>
  

  • hadoop-env.sh

  export JAVA_HOME=/export/server/jdk1.8.0_65
  
  #文件最后添加
  export HDFS_NAMENODE_USER=root
  export HDFS_DATANODE_USER=root
  export HDFS_SECONDARYNAMENODE_USER=root
  export YARN_RESOURCEMANAGER_USER=root
  export YARN_NODEMANAGER_USER=root 
  

  • hdfs-site.xml

  <!-- 设置SNN进程运行机器位置信息 -->
  <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>a2:9868</value>
  </property>
  

  • mapred-site.xml

  <!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  
  <!-- MR程序历史服务器端地址 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>a1:10020</value>
  </property>
   
  <!-- 历史服务器web端地址 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>a1:19888</value>
  </property>
  
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  

  • yarn-site.xml

  <!-- Site specific YARN configuration properties -->
  <!-- 设置YARN集群主角色运行机器位置 -->
  <property>
  	<name>yarn.resourcemanager.hostname</name>
  	<value>a1</value>
  </property>
  
  <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
  </property>
  
  <!-- 是否将对容器实施物理内存限制 -->
  <property>
      <name>yarn.nodemanager.pmem-check-enabled</name>
      <value>false</value>
  </property>
  
  <!-- 是否将对容器实施虚拟内存限制。 -->
  <property>
      <name>yarn.nodemanager.vmem-check-enabled</name>
      <value>false</value>
  </property>
  
  <!-- 开启日志聚集 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  
  <!-- 设置yarn历史服务器地址 -->
  <property>
      <name>yarn.log.server.url</name>
      <value>http://a1:19888/jobhistory/logs</value>
  </property>
  
  <!-- 保存的时间7天 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>
  

  • workers

  a1
  a2
  a3
  

• 将node1中配置文件分发其他机器

# 分发hadoop文件
cswj hadoop-3.3.0
# 分发环境变量文件
cswj /etc/profile

# 注意a2,a3都需要
source /etc/profile

hadoop启动

• 初始化namenode 只在a1中执行

hdfs namenode -format

如果不小心初始化解决，把所有机器上/export/data目录下的Hadoop数据文件删除
删除后重新初始化

• 使用脚本启动服务

start-all.sh 

• 测试是否安装完成

  • a1:jps

  

  • a2:jps

    

  • a3:jps