linux的hadoop集群搭建

一、准备工作

1. 主节点和从节点虚拟机之间，已经配置免密登录
2. 主节点和从节点虚拟机之间，已经配置网络和jdk

二、目录管理

1. 将 hadoop的安装包挂在到虚拟机
   cd /opt/install/
   mkdir hadoop ls
   结果：hadoop-2.6.0-cdh5.14.2.tar.gz hadoop-native-64-2.6.0.tar
2. 配置文件安装目录
   cd /opt/bigdata
   mkdir hadoop ls

三、安装

1. 解压安装hadoop
   cd /opt/install/hadoop
   tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/bigdata/hadoop/
   cd /opt/bigdata/hadoop
2. 重命名hadoop安装文件
   mv hadoop-2.6.0-cdh5.14.2/ hadoop2.6.0
3. 修改hadoop文件权限
   chown -R root:root hadoop260/
   ls -la

四、环境配置

1. 配置JDK
   cd /opt/bigdata/hadoop/hadoop2.6.0
   vi etc/hadoop/hadoop-env.sh
   编辑输入：
   export JAVA_HOME=/opt/bigdata/java/jdk1.8.0

2. 配置hadoop fs 文件系统
   （集群配置时网络IP地址改为主机名）
   vi etc/hadoop/core-site.xml
   编辑输入：
   
   
   fs.defaultFS
   hdfs://主机名:9000
   
   
   hadoop.tmp.dir
   /opt/bigdata/hadoop/hadoop2.6.0
   
   
   hadoop.proxyuser.root.hosts
   
   
   
   hadoop.proxyuser.root.groups
   
   
   

3. 配置 hadoop replicas 备份
   （集群配置时 dfs.replicas 备份数量改为2；dfs.hosts 添加节点白名单）
   cd /opt/bigdata/hadoop
   pwd 结果：/opt/bigdata/hadoop
   mkdir hdfs
   ls 结果：hadoop2.6.0 hdfs
   cd /opt/bigdata/hadoop/hdfs
   mkdir namenode datanode
   ls 结果：datanode namenode
   cd /opt/bigdata/hadoop/hadoop2.6.0
   vi etc/hadoop/hdfs-site.xml
   编辑输入：
   
   
   dfs.replication
   2
   
   
   dfs.permissions
   false
   
   

4. 配置 hadoop mapreduce 计算框架
   （mapreduce.jobhistory.address 添加jobhistory访问端口
   mapreduce.jobhistory.webapp.address 添加jobhistory web访问端口 ）
   cd /opt/bigdata/hadoop/hadoop2.6.0
   cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
   vi etc/hadoop/mapred-site.xml
   编辑输入：
   
   
   mapreduce.framework.name
   yarn
   
   

5. hadoop yarn 管理调度
   （yarn.log-aggregation.retain-seconds 添加yarn日志保留时间为7天（单位秒）
   yarn.nodemanager.aux-services.mapreduce.shuffle.class 添加指定shuffle计算具体类型
   yarn.resourcemanager.hostname 添加yarn主机名）
   cd /opt/bigdata/hadoop/hadoop2.6.0
   vi etc/hadoop/yarn-site.xml
   编辑输入：
   
   
   yarn.nodemanager.aux-services
   mapreduce_shuffle
   
   
   yarn.resourcemanager.hostname
   vmmaster
   
   

6. 配置 hadoop slaves 主机名
   (注意：hadoop 3.0 以上版本 slaves 更名为 workers
   添加所有节点主机名 vwmaster:yarn.resourcemanager
   添加所有节点主机名 vwjob:mapreduce.jobhistory
   添加所有节点主机名 vwslave01/02:datanode)
   cd /opt/bigdata/hadoop/hadoop2.6.0
   vi etc/hadoop/slaves
   编辑输入：（虚拟机从机别名列表）
   vmslave1
   vmslave2
   vmslave3
   查看指令：hostname
   设置主机名：hostnamectl set-hostname 主机名

7. 配置 hadoop 环境变量
   cd /opt/bigdata/hadoop/hadoop2.6.0
   vi /etc/profile
   编辑输入：
   export JAVA_HOME=/opt/bigdata/java/jdk1.8.0
   export TOMCAT_HOME=/opt/bigdata/java/tomcat8.5
   export NODE_HOME=/opt/bigdata/elk/nodejs8.11

   export HADOOP_HOME=/opt/bigdata/hadoop/hadoop2.6.0
   export HADOOP_MAPRED_HOME= H A D O O P H O M E e x p o r t H A D O O P C O M M O N H O M E = HADOOP_HOME export HADOOP_COMMON_HOME= HADOOPH​OMEex<