Spark-1.6.1 Hadoop-2.6.4 VMware Ubuntu 分布式集群搭建全过程

最新推荐文章于 2024-05-17 15:05:47 发布

置顶

zekizz

最新推荐文章于 2024-05-17 15:05:47 发布

阅读量3.7k

点赞数 1

分类专栏： 2016Spark 文章标签： spark hadoop ubuntu vmware 分布式

本文链接：https://blog.csdn.net/crystal_zero/article/details/50969586

版权

本文详细介绍了如何在Ubuntu 16.04上使用VMware搭建Spark-1.6.1和Hadoop-2.6.4的分布式集群。从创建hadoop用户、配置网络、安装Java和Scala，到安装和配置Hadoop及Spark，最后进行集群测试，适合初学者。整个过程包括无密码SSH登录、启动Hadoop和Spark服务等关键步骤。

摘要由CSDN通过智能技术生成

部分内容参考Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

本文从头开始零基础完全配置，适合小白。
本文在vmware中配置三台虚拟机，一台做Master，两台Worker，hadoop 和spark只需要在Master上配置，然后cp到worker上，包括配置文件。

Ubuntu基本环境配置

创建hadoop用户

在终端中输入

sudo useradd -m hadoop -s /bin/bash

接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码：

sudo passwd hadoop

可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题：

sudo adduser hadoop sudo

最后注销当前用户（点击屏幕右上角的齿轮，选择注销），在登陆界面使用刚创建的 hadoop 用户进行登陆。这个很重要，一定要切换到hadoop用户，涉及到后面的配置。

安装vim

首先更新apt

sudo apt-get update

因为后面要修改很多配置文件，有些用gedit比较方便，比如大块的copy，但在有些环境下vim更方便，有时也只能用vim，所以建议装。用的时候只要将gedit 和 vim互换即可。

sudo apt-get install vim

中间输入y即可

以上过程需在所有节点上配置（本文是有一台Master ，两台worker）

网络配置

点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet8 NAT模式 ->修改subnet ip

这里写图片描述
点击更改设置

选中VMnet8
点击NAT设置

设置子网IP：192.168.2.0 子网掩码：255.255.255.0 -> apply（应用） -> ok（确定）。其实都可以，只要在同一网段内即可

回到windows下检查 –> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet8 -> 属性 -> 双击IPv4
这里写图片描述
192.168.2.2 在网段内，可以可以。

在虚拟软件上 –My Computer -> 选中虚拟机 -> 右键 -> settings -> （网络适配器）network adapter -> 选择VMnet8
这里写图片描述

配置虚拟机IP地址

两种方式：
第一种：通过Linux图形界面进行修改（强烈推荐）
进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.2.100 子网掩码：255.255.255.0 网关：192.168.2.1 -> apply
这里写图片描述

第二种：修改配置文件方式（屌丝程序猿专用）

            vim /etc/sysconfig/network-scripts/ifcfg-eth0

            DEVICE="eth0"
            BOOTPROTO="static"               ###
            HWADDR="00:0C:29:3C:BF:E7"
            IPV6INIT="yes"
            NM_CONTROLLED="yes"
            ONBOOT="yes"
            TYPE="Ethernet"
            UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
            IPADDR="192.168.2.100"           ###
            NETMASK="255.255.255.0"          ###
            GATEWAY="192.168.2.1"            ###

改完后 reboot

三台都需要修改， IP地址同网段不同即可
本文用的是
192.168.2.100 Master
192.168.2.101 Slave1
192.168.2.102 Slave2

Linux 中查看节点 IP 地址的命令为 ifconfig

修改主机名

为了便于区分，可以修改各个节点的主机名（在终端标题、命令行中可以看到主机名，以便区分）

sudo vim /etc/hostname

按 i 进行 Insert 添加修改
添加Master即可，在其他两台机器上同样添加Slave1和Slave2即可。
保持并推出，先按esc，再按 :wq

命令修改自己所用节点的IP映射：

sudo vim /etc/hosts

127.0.0.1       localhost

192.168.2.100   Master
192.168.2.101   Slave1
192.168.2.102   Slave2

配置好后需要在各个节点上执行如下命令，测试是否相互 ping 得通，如果 ping 不通，后面就无法顺利配置成功

ping Master -c 3   # 只ping 3次，否则要按 Ctrl+c 中断
ping Slave1 -c 3

配置好后，所有机器都需要重启

SSH无密码登陆节点

首先安装SSH

sudo apt-get install openssh-server

安装后，可以使用如下命令登陆本机：

ssh localhost

SSH首次登陆会有提示，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了，但是每次都要输密码比较麻烦，因此需要配置无密码登录。

首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了
对三台机器都进行上述操作

接下来设置无密码登录，让 Master 节点可以无密码 SSH 登陆到各个 Slave 节点上。

首先生成 Master 节点的公匙，在 Master 节点的终端中执行（因为改过主机名，所以还需要删掉原有的再重新生成一次）：

cd ~/.ssh               # 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa*            # 删除之前生成的公匙（如果有）
ssh-keygen -t rsa       # 一直按回车就可以

让 Master 节点需能无密码 SSH 本机，在 Master 节点上执行：

最低0.47元/天解锁文章