Linux-centOS7中hadoop的安装和配置

STEP.1 关闭防火墙

###1.查看防火墙状态
systemctl status firewalld.service

这里Active: inaction(dead)是因为我之前就已经关闭了
###2.关闭防火墙
systemctl strop firewalld.service

###3.查看服务开启启动项列表
Systemctl list-unit-files

###4.设置防火墙开机不自动启动
Systemctl disable firewalld.service

STEP.2 免密登录

###1.首先生成公私钥
生成linux下的密钥要用到 ssh-keygen 命令，一般执行完这个命令公钥和私钥会生成到 .ssh 的隐藏目录。在执行这个命令之前我们先检查一下这个目录是否存在，因为有些linux如果没有这个目录的话是不会生成key的。
ssh-keygen -t rsa

然后我们再执行 ssh-keygen -t rsa

###2.打开用户目录下的.ssh目录
cd
cd .ssh (此处一定注意是在用户的目录下打开的)

###3.将公钥文件拷贝成authorized_keys
cp id_rsa.pub authorized_keys

###4.验证
ssh 本节点主机名，若无需输入密码可直接登录则设置成功

(免密登陆的目的就是为了在以后使用Hadoop时不用一遍一遍的输入密码）

STEP.3 安装JDK

###1.复制jdk文件（.tar.gz格式）到用户目录下,在此目录下新建java目录，将安装包移动到该目录下解压。
先下载tar.gz的压缩包，这里使用官网下载。
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

mkdir java(将jdk文件（.tar.gz格式）直接复制到这个文件夹下并解压)
tar zxvf 压缩包名
解压后为了方便后期操作，将解压后目录名重命名为jdk（使用mv改名）
mv jdk-7u79-linux-x64(例如) jdk
###2.打开并编辑用户目录下的.\bashrc文件

在正文的后面添加以下内容：

需要添加的代码：
Export JAVA_HOME=/home/Node1/java/jdk(Node1是当前的用户名)
Export PATH=$PATH:$JAVA_HOME/bin（图中多余的代码先忽略）
保存退出（":"+wq）
让该文件立即生效:（否则重启虚拟机（reboot命令））
source ~/.bashrc

###3.卸载已有jdk（可选）（我个人是jdk1.7和1.8都安装了 没有卸载，个人感觉用起来好像没什么问题，感兴趣的朋友可以参考一下）
查询已安装包名中包含jdk的：rpm -qa |grep jdk
卸载方法: rpm -e 包名 --nodeps（忽略依赖关系）

###4.使用java -version命令验证:如果显示版本号与安装版本号相同，则证明安装成功了!

STEP.4 hadoop的安装

###1.首先将hadoop安装包复制到用户目录下，新建hadoop目录。将安装包移动到该目录下解压。(类似于jdk的安装过程！)
###2.将解压完成后的目录（hadoop-2.6.2）改名为hadoop（为了方便）
###3.将hadoop根目录下的bin目录和sbin目录路径加入到PATH中
更改~/.bashrc文件如下
export JAVA_HOME=/home/ryan/java/jdk
export HADOOP_HOME=/home/Node1/hadoop/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin

###4.改完后，执行source命令令其立即生效：source ~/.bashrc
###5.使用hadoop version验证是否成功

STEP.4 hadoop的配置

###1.在$HADOOP_HOME/etc/hadoop/目录下配置以下文件
Hadoop-env.sh

export JAVA_HOME=/home/Node1/java/jdk

yarn-env.sh
vim yarn-env.sh
export JAVA_HOME=/home/ryan/java/jdk

core-site.xml
vim core-site.xml
在configuration标签中添加以下变量和值

Hdfs-site.xml
vim hdfs-site.xml

mapred-site.xml

Yarn-site.xml

Slaves:
在此文件中写明所有从节点的节点名，一行一个（如果为伪分布式部署，则默认localhost即可，无需更改）

###2.格式化hadoop: hadoop namenode -format
###3.启动hadoop:
在hadoop文件下的sbin目录下运行start-all.sh命令。

###4.启动完之后:执行jps命令验证
执行之后出现这六行就成了！！！