自学hadoop集群安装教程

第一步 给自己创建的用户root权限（非必要）

全程使用管理员身份安装即可,则此步骤可忽略

1.以管理员身份登录虚拟机，右键—>在终端中打开，打开后界面如下：
2 输入命令：vim /etc/sudoers，回车后会打开sudoers这个文件，找到第98行：root ALL=(ALL) ALL
3.将光标移动到98行前，如图位置，键盘直接敲yyp，复制该行内容至下一行，键盘敲i进入插入模式，将root改为你的用户名，键盘敲Esc退出插入模式，输入：wq,回车，保存退出。

第二步 配置基础网络

1. 配置网络连通

在终端中打开，输入命令行如下

打开文件后，将以下配置进行更改
BOOTPROTO=static
ONBOOT=yes
保存后退出，然后重启网络：
service network restart

2. 配置网络地址与主机名的对应关系

在终端中打开 ，输入命令：sudo vim /etc/hostname
打开文件后将此文件内容全部删除，更改为你的当前操作主机的主机名，保存退出
sudo vim /etc/hosts
在最后新建一行，添加以下内容（若为集群安装，则将对应主机名及IP地址填写好，一般将主机1作为namenode,其余作datanode）
IP地址1 主机名1
IP地址2 主机名2
IP地址3 主机名3

3. 关闭防火墙

终端命令，关闭防火墙
systemctl strop firewalld.service
设置防火墙开机不自动启动
Systemctl disable firewalld.service

第三步 设置免密登录

首先生成公私钥
ssh-keygen -t rsa（之后一直回车，不要设置密码）
打开用户目录下的.ssh目录
cd
cd .ssh
将公钥文件拷贝成authorized_keys
cp id_rsa.pub authorized_keys
验证
ssh 本节点主机名，若无需输入密码可直接登录则设置成功

此处理解：1.免密原理，将公私钥都设置为空2.root用户设置的免密只在root用户时生效，普通用户设置的免密登录只能在普通用户时生效
在此处花费了较多时间，故强调。

第四步 jdk安装

复制jdk文件（.tar.gz格式）到用户目录下
在此目录下新建java目录，将安装包移动到该目录下解压
tar zxvf 压缩包名
解压后为了方便后期操作，将解压后目录名重命名为jdk

打开并编辑用户目录下的.\bashrc文件
vim ~/.bashrc
在正文的后面添加以下内容
export JAVA_HOME=/home/ryan/java/jdk
export PATH=$PATH:$JAVA_HOME/bin
保存退出
让该文件立即生效
source ~/.bashrc
卸载已有jdk（可选）
查询已安装包名中包含jdk的
rpm -qa |grep jdk
卸载方法
rpm -e 包名 --nodeps（忽略依赖关系）

使用java -version命令验证
如果显示版本号与安装版本号相同，则证明安装成功了

第五步 hadoop安装

首先将hadoop安装包复制到用户目录下，新建hadoop目录。将安装包移动到该目录下解压。将解压完成后的目录（hadoop-2.6.2）改名为hadoop（为了方便）具体做法参考jdk安装

将hadoop根目录下的bin目录和sbin目录路径加入到PATH中，更改~/.bashrc文件如下（lxh改为你的主机名）

改完后，执行source命令令其立即生效
source ~/.bashrc
使用hadoop version验证是否成功

第六步 文件配置

在$HADOOP_HOME/etc/hadoop/目录下
需要配置以下文件
hadoop-env.sh
export JAVA_HOME=/home/主机名/java/jdk

yarn-env.sh
export JAVA_HOME=/home/主机名/java/jdk

core-site.xml
在configuration标签中添加以下变量和值

<property>
<name>fs.defaultFS</name>
<value>hdfs://node-1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/ryan/hadoop/hadoop/tmp</value>
</property>

hdfs-site.xml

<property>(如果不设置该参数，则默认值为3)
<name>dfs.replication</name>
<value> 2</value>
</property>
<property>(如果不设置该参数，则默认值为$hadoop.tmp.dir/dfs/name)
<name>dfs.namenode.name.dir</name>
<value>/home/主机名/hadoop/hadoop/tmp/dfs/name </value>
</property>
<property>(如果不设置该参数，则默认值为$hadoop.tmp.dir/dfs/data)
<name>dfs.datanode.data.dir</name>
<value> /home/主机名/hadoop/hadoop/tmp/dfs/data </value>
</property>

mapred-site.xml
（该文件需经mapred-site.xml.template重命名转变来：mv mapred-site.xml.template mapred-site.xml）

<property>
<name>mapreduce.framework.name</name>
<value>主机名</value>
</property>

yarn-site.xml

主机名.resourcemanager.address
rmhostname:8032

slaves
在此文件中写明所有从节点的节点名，一行一个（如果为伪分布式部署，则默认localhost即可，无需更改）

参考（超详细）：

https://blog.csdn.net/pucao_cug/article/details/71698903