Hadoop伪分布式搭建步骤

Hadoop伪分布式搭建步骤

一、环境准备

进入超级用户：

二、安装ssh：

生成秘钥文件，无密码访问：

进入无密码访问目录：/root/.ssh/

生成authorized_keys秘钥文件

修改/etc/hosts文件内容，将IP地址与计算机名关联起来。

vi /etc/hosts

测试无密码登录是否成功：

登录成功后，请用exit命令退出远程登录。

二、安装Java语言（jdk）

1. 在/home/czc/下创建文件夹wei。

2、解压jdk软件包到wei文件夹下。

1. 到解压的文件夹里去查看

4、为了后面书写简单，改一下文件夹的名字。

1. 编辑Java变量环境文件：/etc/profile:

最后添加两行：

6、使刚刚编辑的环境生效：

7、测试是否安装成功：

三、安装hadoop

将hadoop软件包解压到/home/czc/wei/下（注意路径）：

进入hadoop目录，并查看核心文件夹：

进入hadoop配置文件的目录下：

查看主要配置文件：

修改hadoop-env.sh文件内容：

vi hadoop-env.sh

修改core-site.xml内容：

修改hdfs-site.xml内容：

复制成一个新文件：

修改该文件内容:

修改yarn-site.xml文件内容：

修改slaves文件内容

配置环境变量，使hadoop命令正常执行，（修改环境变量，/etc/profile文件）

用source /etc/profile 命令更新：

测试Hadoop安装是否成功：

格式化namenode

配置全部完成，对hadoop结构进行启动，（可以分布启动，也可以一次启动）

查看进程（6个）

注意：如果没有6个进程，请先关闭所有进程（stop-all.sh），再到5个配置文件中去修改，再运行，直到出现6个进程。

打开浏览器，用web页来测试：

端口50070，8088