1． 掌握Hadoop的安装和配置

目录

实训步骤：

一、 关闭防火墙、免密和关闭SELINUX

二、安装hadoop

---

一、 关闭防火墙、免密和关闭SELINUX

① 关闭防火墙的方式有两种：Stop 暂时关闭；disable 永久关闭

②  免密登录：生成密钥 -> 传输密钥  -> 免密登录

③ 关闭selinux的方式有两种：setenforce 0  暂时关闭；修改selenux配置文件 永久关闭

二、安装hadoop

① 在WinSCP中传输hadoop压缩包 ，放在/opt/apps/下

利用tar命令压安装包，并用mv命令将文件改名为hadoop

② 配置hadoop环境变量

③ 修改hadoop相关配置文件

1. hadoop-env.sh

用来定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径一级master和slave文件的位置等。

2. core-site.xml

用于定义系统级别的参数，比如HDFS URL、Hadoop的临时目录一级用户rack-aware集群中的配置文件的配置等，此中的参数定义会覆盖core-default.xml文件中的默认配置。(hdfs://主机名：端口号）

3. hdfs-site.xml

HDFS的相关设定，如文件副本的个数、块大小及是否使用强制权限等,此中的参数会覆盖hdfs-default.xml文件中默认设置。

4. workers

指定主机名

5. mapred-site.xml

HDFS的相关设定，如reduce任务的默认个数、任务所能够市容内存的默认上下限等，此中的参数定义会覆盖mapred-default.xml文件中的配置。

6. yarn-side.xml

配置 ResourceManager，NodeManager 的通信端口，web监控端口等，负责管理集群中的资源，并为运行在集群上的应用程序分配资源，其中参数可以影响YARN的资源分配、调度、容错等方面的行为，可以配置YARN的最大内存使用量、最大CPU使用量、最大磁盘使用量，还可以配置YARN的日志输出路径、节点管理器的心跳间隔、应用程序的最大重试次数等

④ 格式化namenode  （输出警告为INFO，是我之前有设置过的）

⑤ 启动hadoop

参考博客：

[1]http://www.edianedi.com/index.php/archives/23/