Hadoop系统应用之安装---Hadoop集群安装配置和详细搭建过程

实训课题	Hadoop集群安装配置和详细搭建过程
实验步骤: 一、虚拟机的安装部署 二、Linux系统安装部署 1.环境准备 2.系统安装 三、Centos系统安装 四、静态网络配置 五、虚拟机完整克隆配置 六、配置hosts文件和ssh免密登录 七、Hadoop集群配置 八、Hadoop集群测试
虚拟机的安装 （1）虚拟软件：VMware16 （2）VMMware版本：VMware Workstation 16 Pro （3）vmware官方下载地址：https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html （4）安装系统环境：Windows 10
Linux系统安装部署 （1）配置环境准备 Cento7镜像文件（尽量下载最小的版本） 资源网站：清华大学开源软件镜像站 | Tsinghua Open Source Mirror （2）系统安装 2.1新建虚拟机并且选择安装程序光盘映像文件（iso） 2.2虚拟机配置如下 三、Centos7系统安装 3.1开启虚拟机   3.2安装Centos7系统 3.3进行配置 3.4进行登录 四、静态网络配置 4.1 检查网络的连通性 命令：ping www.baidu.com  4.2 打开ssh服务 4.2.1查看SSH是否安装 rpm -qa | grep ssh Centos7 默认安装了ssh包 4.2.2安装缺失的包、并配置SSH yum install openssh* 完成！！！！ 4.2.3注册使用服务，重启SSH服务 systemctl enable sshd service sshd restart 4.3配置虚拟机的网络 4.4修改网络配置文件（ifcfg-ens33） 命令:vi /etc/sysconfig/network-scripts/ifcfg-ens33 Ps:如果配置完成后无法连通网络，添加centos7的mac地址到ifcfg-ens33中。 4.5 重启网络服务，查看配置是否成功 4.6重启虚拟机后，查看是否连通网络 命令：重启reboot ；查看ifconfig;检查ping www.baidu.com 五、虚拟机完整克隆配置 5.1克隆虚拟机 5.2修改主机名 5.3修改网络配置文件 5.4重新启动网络配置 六、配置hosts文件和ssh免密登录 1.修改hosts配置文件（所有虚拟机都需要配置此文件，此处只列举一台虚拟机） 命令：vi  /etc/hosts 2.生成秘钥文件（四次回车） 命令:ssh-keygen -t rsa 3.将本机公钥文件复制到其它虚拟机上（接收方需先开机） 命令：ssh-copy-id yangjian01 ssh-copy-id yangjian02 ssh-copy-id yangjian03 ssh-copy-id yangjian00 4.上一步的命令在虚拟机yangjian00 yangjian01 yangjian02，yangjian03都需要执行，保证三台主机都能够免密登录 5.测试是否免密登录成功(ssh yangjian01) 成功！！！！ 七、Hadoop集群配置 1.在所有centos7虚拟机根目录下新建文件夹export，export文件夹中新建data、servers和software文件 命令： mkdir -p /export/data mkdir -p /export/servers mkdir -p /export/software 2.准备安装包 3.下载安装软件SecureCRT和FX 4.利用FX将安装包传输到centos7虚拟机根目录下/export/software文件夹内 5.安装JDK（所有虚拟机都要配置） 5.1 解压JDK cd /export/software tar -zxvf jdk-8u144-linux-x64.tar.gz -C /export/servers/ 5.2配置环境变量 编辑文件：vi /etc/profile #tip:在配置文件末尾追加 export JAVA_HOME=/export/servers/ jdk-1.8.4-144 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME PATH CLASSPATH 5.3 使配置文件生效 5.4 查看是否配置成功 6.安装Hadoop（所有虚拟机都要配置） 6.1 解压hadoop cd /export/software tar -zxvf hadoop-2.7.3.tar.gz -C /export/servers/ 6.2 打开配置文件 vi/etc/profile 6.3 配置环境变量 #tip:在文件末尾追加 export HADOOP_HOME=/export/servers/hadoop-2.7.3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 6.4 使配置文件生效 6.5查看是否配置成功 7.Hadoop集群配置 7.1 进入配置文件目录 命令：cd /export/servers/hadoop-2.7.3/etc/hadoop/ 7.2 修改hadoop-env.sh文件 命令：vi hadoop-env.sh #tip:找到相应位置，添加这段话 export JAVA_HOME=/export/servers/jdk-1.8.4-144 7.3 修改core-site.xml文件（命令：vi core-site.xml） #tip:下图中乱码部分为注释代码，可以删掉，不影响 <configuration>     <!--用于设置Hadoop的文件系统，由URI指定-->     <property>         <name>fs.defaultFS</name>         <!--用于指定namenode地址在hadoop01机器上-->         <value>hdfs://yangjian00:9000</value>     </property>     <!--配置Hadoop的临时目录，默认/tem/hadoop-${user.name}-->     <property>         <name>hadoop.tmp.dir</name>         <value>/export/servers/hadoop-2.7.3/tmp</value>     </property> </configuration> 7.4 修改hdfs-site.xml文件(命令：vi hdfs-site.xml) <configuration>     <!--指定HDFS的数量-->     <property>         <name>dfs.replication</name>         <value>3</value>     </property>     <!--secondary namenode 所在主机的IP和端口-->     <property>         <name>dfs.namenode.secondary.http-address</name>         <value>yangjian01:50090</value>     </property> </configuration> 7.5 修改mapred-site.xml文件(命令：vi mapred-site.xml) 7.5.1复制模板文件（命令：cp mapred-site.xml.template  mapred-site.xml） 7.5.2编辑文件 <configuration>     <!--指定MapReduce运行时的框架，这里指定在YARN上，默认在local-->     <property>         <name>mapreduce.framework.name</name>         <value>yarn</value>     </property> </configuration> 7.6 修改yarn-site.xml文件(命令：vi yarn-site.xml) <configuration>     <!--指定YARN集群的管理者（ResourceManager）的地址-->     <property>         <name>yarn.resourcemanager.hostname</name>         <value>hadoop01</value>     </property>     <property>         <name>yarn.nodemanager.aux-services</name>         <value>mapreduce_shuffle</value>     </property> </configuration>
7.7修改slaves文件 7.8将主节点中配置好的文件和hadoop目录copy给子节点 #tip:这里主节点为yangjian00，子节点为yangjian01、yangjian02、yangjian03 scp /etc/profile yangjian01:/etc/profile scp /etc/profile yangjian02:/etc/profile scp /etc/profile yangjian03:/etc/profile scp -r /export/ yangjian01:/ scp -r /export/ yangjian02:/ scp -r /export/ yangjian03:/ 7.9使所有子节点的配置文件 7.10 在主节点格式化文件系统（successfully formatted 格式化成功） 八、Hadoop集群测试 1.启动集群服务 1.1在主节点启动所有HDFS服务进程（命令：start-dfs.sh） 1.2在主节点启动所有HDFS服务进程（命令：start-yarn.sh） 2.打开window下的C:\Windows\System32\drivers\etc打开hosts文件，在文件末添加三行代码： 192.168.220.20 yangjian00 192.168.220.21 yangjian01 192.168.220.22 yangjian02 192.168.220.23 yangjian03 3.通过UI界面查看Hadoop运行状态，在Windows系统下，访问http://hadoop01:50070，查看HDFS集群状态