Ubuntu Hadoop（伪分布式）安装

最近生产实习在做大数据方面的，记录一下

安装包准备

图是我在机房电脑上装时截的图，安装包是机房提供的

我自己装的是下面两个（附链接），安装步骤没有变化

hadoop-2.7.7.tar.gz

jdk-8u211-linux-x64.tar.gz

一  SSH免密设置

命令：ssh-keygen

密钥存储路径，回车默认即可

出现overwrite说明设置过，y即可

然后密码和确认密码直接回车

将生成的密钥发送给目标用户

查看主机名：hostname

发送：ssh-copy-id k8s02

需要输入原密码验证

(这里如果出现错误

ssh: connect to host localhost port 22: Connection refused

有可能是没安装sshd

检查：ps -e|grep ssh

如果没有出现sshd

安装：sudo apt-get install openssh-server)

最后一步，测试确认

命令：ssh 主机名

不用输密码说明设置成功

二 JDK安装

2.1 创建主目录

首先创建一个目录存放等下要用的应用

命令：mkdir 目录名

2.2 移动解压

将jdk压缩包放在此目录下

命令：mv 源文件 目标文件夹

然后解压jdk

命令tar  -zxvf 源压缩文件

修改文件夹名

mv 原文件夹名 新文件夹名

2.3 验证安装

进入jdk下bin目录

执行javac或者java

说明安装成功

2.4 配置全局环境变量

编辑： vim 文件名

在文件最后面加上

export JAVA_HOME=/home/hadoop/app/jdk1.8.0

export PATH=$JAVA_HOME/bin:$PATH

然后对文件进行刷新

命令:source /etc/profile

在任意文件夹下测试java命令

Java -version

没有报错说明配置成功

 

三 Hadoop安装（单机版）

3.1 移动解压

将hadoop压缩包移动到之前创建的主目录下

命令 mv 源文件 目标文件夹

解压tar –zxvf 源文件

验证安装

进入bin目录

命令:cd /home/hadoop/apps/hadoop-2.7.0/bin

命令：./hadoop version

出现如下则成功安装

 

3.2 配置环境变量

同jdk的安装修改环境文件

命令vim /etc/profile

文件最后加上如下内容

然后对文件进行刷新

命令:source /etc/profile

验证配置是否成功

如上所示则成功

3.3 配置hadoop的相关文件

3.3.1 配置core-site.xml

命令:cd hadoop/app/hadoop-2.7.0/etc/hadoop

编辑命令：

Vim 文件名

将configuration里面添加如下信息

其中k8s02为主机名

3.3.2 配置hdfs-site.xml

编辑命令：vim hadoop/hdfs-site.xml

将configuration里面添加如下信息

其中k8s02为主机名

3.3.3 配置mapred-site.xml

先将模板文件复制下来

cp mapred-site.xml.template mapred-site.xml

然后编辑

vim mapred-site.xml

将configuration里面添加如下信息

其中k8s02为主机名

3.3.4 配置yarn-site.xml

编辑命令：vim yarn-site.xml

将configuration里面添加如下信息

其中k8s02为主机名

 

3.3.5 配置slaves

编辑命令

Vim slaves

加上hostname

3.3.6 配置hadoop-env.sh

编辑命令 vim hadoop-env.sh

将JAVA_HOME后面的键值改为jdk安装的路径

3.3.7 检查/etc/hosts

检查/etc/hosts文件有没有hadoop主机ip的映射

命令vim /etc/hosts

如图有本机主机名和ip 的对应

3.4 启动hadoop

3.4.1 namenode格式化

进入hadoop目录

命令：cd /home/hadoop/apps/hadoop-2.7.0/

格式化

命令：hadoop namenode -format

3.4.2 启动hadoop

命令：sbin/start-all.sh

前面已经设置了免密登陆就不需要输入密码了

否则需要输入多次密码

使用jps命令查看进程启动情况

 

进入浏览器输入localhost:50070出现如下界面则启动成功