Hadoop搭建之centos

Hadoop搭建之centos

1.修改虚拟机ip

指令：vi /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO=static

ONBOOT=yes

IPADDR=192.168.56.110

NETMASK=255.255.255.0

GATEWAY=192.168.56.10

DNS1= 8.8.8.8

DNS2=8.8.8.4

2.关闭防火墙

指令：systemctl stop firewalld.service
功能：关闭防火墙

指令：systemctl status
firewalld.service 功能：查询防火墙

指令：systemctl disable
firewalld.service 功能：取消防火墙

3.设置主机名

指令：hostnamectl 功能：查询主机信息

指令：hostnamectl set-hostname 【主机名】 功能：修改主机名

4.hosts设置

指令：vi /etc/hosts

192.168.56.110 master

192.168.56.111 slave0

192.168.56.112 slave1

5.ssh免密登录

指令：ssh-keygen 功能：创建ssh登录密钥对

指令：ssh-copy-id -i
~/.ssh/id_rsa.pub root@master 功能：发送密钥

指令：ssh-copy-id -i
~/.ssh/id_rsa.pub root@slave0 功能：发送密钥

指令：ssh-copy-id -i
~/.ssh/id_rsa.pub root@slave1 功能：发送密钥

6.安装Java

指令：rpm
-qa | grep java 功能：查询是否安装Java软件

指令：rpm
-e --nodeps 【软件包】功能：如果安装的版本低于1.7，卸载该JDK

指令：cd /usr/local/java/
功能：到Jdk包路径下

指令：tar
-zxvf jdk-8u162-linux-x64.tar.gz 功能：解压Java包

指令：vi /root/.bash_profile

#JAVA_HOME

eexport JAVA_HOME=/usr/local/java/jdk1.8.0_162/

export
PATH=$PATH:$JAVA_HOME/bin

指令：source /root/.bash_profile 功能：环境变量生效

7.安装Hadoop

指令：cd /opt/hadoop 功能：打开Hadoop压缩包目录

指令：tar -zxvf hadoop-2.7.5.tar.gz 功能：解压缩

指令：mv hadoop-2.7.5 hadoop 功能：修改文件名

8.配置env文件

   指令：vi

/opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/java/jdk1.8.0_162/

9.配置核心组件文件

指令：vi /opt/hadoop/hadoop/etc/hadoop/core-site.xml

和之间

   <property>

          <name>fs.defaultFS</name>

          <value>hdfs://master:9000</value>

   </property>

   <property>

          <name>hadoop.tmp.dir</name>

          <value>/opt/hadoop/hadoopdata</value>

   </property>

10.配置文件系统

指令：vi /opt/hadoop/hadoop/etc/hadoop/hdfs-site.xml

和之间

   <property>

          <name>dfs.replication</name>

          <value>1</value>

   </property>

11.配置yarn-site.xml

指令：vi /opt/hadoop/hadoop/etc/hadoop/yarn-site.xml

和之间

气温气温

   <name>yarn.nodemanager.aux-services</name>

   <value>mapreduce_shuffle</value>

   <name>yarn.resourcemanager.address</name>

   <value>master:18040</value>

   <name>yarn.resourcemanager.scheduler.address</name>

   <value>master:18030</value>

   <name>yarn.resourcemanager.resource-tracker.address</name>

   <value>master:18025</value>

   <name>yarn.resourcemanager.admin.address</name>

   <value>master:18141</value>

   <name>yarn.resourcemanager.webapp.address</name>

   <value>master:18088</value>

11. 配置 MapReduce 计算框架文件

指令: cp
/opt/hadoop/hadoop/etc/hadoop/mapred-site.xml.template
/opt/hadoop/hadoop/etc/hadoop/mapred-site.xml

指令：vi /opt/hadoop/hadoop/etc/hadoop/ mapred-site.xml

和之间

          <name>mapreduce.framework.name</name>

          <value>yarn</value>

   </property>

12.配置 Master 的
slaves 文件

指令：vi
/opt/hadoop/hadoop/etc/hadoop/slaves

slave0

slave1

需要删除原来文件里面localhost那一行

13.复制 Master 上的
Hadoop 到 Slave 节点

指令：scp -r /opt/hadoop
root@slave0:/opt功能：复制

指令：scp -r /opt/hadoop
root@slave1:/opt功能：复制

14.Hadoop 集群的启动-配置操作系统环境变量

指令：vi ~/.bash_profile功能：重载环境变量

   #HADOOP

   export HADOOP_HOME=/opt/hadoop/hadoop

   export

PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH

指令：source
~/.bash_profile 功能：重载环境变量

15. 创建 Hadoop 数据目录

指令：mkdir /opt/hadoop/hadoopdata 功能：创建数据目录

16. 格式化文件系统 master

指令：hadoop namenode -format 功能：格式化目录

17．启动关闭查询

指令：start-all.sh 功能：开启

指令：stop-all.sh 功能：关闭

指令：start-dfs.sh 功能：启动dfs

指令： start-yarn.sh 功能：启动Yarn

指令： jps 功能：查询