#修订记录:20200112 填yarn-site.xml和mapred-site.xml的坑,解决spark无法在Hadoop上运行的问题,以及启动jobHistoryServer的配置
上一篇文章已经做好了环境准备。终于可以开始安装HADOOP了。
注意!这里我们要切换回root用户了
第一步,下载
在这个网址找到你想安装的版本:http://www.apache.org/dyn/closer.cgi/hadoop/common
可以选择它推荐的下载镜像,然后选择好下载地址。
这里我选择的是2.10.0版本:
$ curl -O https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz
选最大的那个,大概300多M
第二步,解压
Hadoop作为一种服务,我们把它放到 /srv 目录下面是比较合适的,命令如下:
# 解压
$ tar -xzf hadoop-2.10.0.tar.gz
# 转移
$ sudo mv hadoop-2.10.0 /srv/
# 把owner变成hadoop
$ sudo chown -R hadoop:hadoop /srv/hadoop-2.10.0
# 设置权限
$ sudo chmod g+w -R /srv/hadoop-2.10.0
# 创建一个symlink
$ sudo ln -s /srv/hadoop-2.10.0 /srv/hadoop
第三步,配置环境变量
注意这里我们配置的是hadoop用户的环境变量,root用户可以给别的用户配环境变量,所以可以不切换用户,当然也可以切换
$ sudo vim /home/hadoop/.bashrc
将下面内容添加到hadoop用户的环境变量
export HADOOP_HOME=/srv/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
# 设置JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
然后设置student用户的环境变量,可以新建一个文件.bash_aliases
$ sudo vim /home/student/.bash_aliases
将以下内容添加到这个文件当中
export HADOOP_HOME=/srv/hadoop
export H