小白安装Ubuntu14.04.6+Hadoop2.7.3+Spark2.4.7全记录

安装Hadoop与Spark

参考文章：
零基础Ubuntu16.04+Hadoop2.7.3+Spark2.3.4+Zookeeper3.4.14+HBase2.1.6+Kafka2.11大数据集群配置教程
ps:本篇文章完全参照此参考文件思路，更新一些我在实际操作中遇到的诸多问题。因为毕设需要，我只安装到4.10，即仅安装了hadoop与spark。**

---

1、环境搭建

虚拟机：

VMware Worstation 15 （https://www.baidu.com/link?url=lUpoe9j2Gpnpg6pKsyG2saoSRYNZQuJHCEd8IozSFG8eiaf323AtDxMK1VCsFXVFQmWwOj6GLpVKq9yJLfXKwEKwzqP8kSv0svFCqiTwWPm&wd=&eqid=cbcfe22f00000b54000000025c9ed9a8）

系统：

Ubuntu-14.04.6-server-amd64(64-bit PC (AMD64) desktop image)（http://releases.ubuntu.com/）因桌面版本更加方便小白

节点：

Master：192.168.86.135
Slave1：192.168.86.136
Slave2：192.168.86.137

---

2、相关软件版本

可以在清华镜像源进行下载（https://mirrors.tuna.tsinghua.edu.cn/），由于清华镜像源的相关软件版本会根据软件更新而同步更新，因此看到这份教程的你可能已经找不到我使用的版本了，但是如果版本差别只有最后一位不一样的话，安装步骤可以一样，一般不会出问题。
Hadoop：hadoop-2.7.3
Spark：spark-2.4.7-bin-hadoop2.7
Java：java（1.8.0_191）
Scala：scala 2.11.6

---

3、主要参考文章

1. Hadoop2.7.3完全分布式集群搭建和测试(如果一切再重来)

2. The authenticity of host ‘localhost (127.0.0.1)’ can’t be established的处理方法（ stpeace）

3. linux下如何查询jdk的安装路径（stpeace）

4. Vmware虚拟机设置静态IP地址（麦兜日常学习笔记）

5. 在Ubuntu下搭建Spark群集

---

4、搭建步骤

4.1 安装虚拟机

为了给每个节点配置静态ip地址，安装ubuntu系统前需要先安装Vmware Workstation并配置好网络适配器

进入虚拟网络编辑器

子网：192.168.86.0
选择NAT模式，勾选“将主机虚拟适配器链接到此网络”，取消“使用本地DHCP服务将IP地址分配给虚拟机”，同时在该页面可以看到子网ip和子网掩码

点击NAT设置，可以看到网关IP，一般不做修改
下面这一步很重要，影响到能否使用主机web访问虚拟机端口
检查宿主机VM8 网卡设置，打开网络和共享中心→ 更改适配器设置→，在VMware Network Adapter VMnet8上单击右键，选择属性按钮打开属性对话框。

注意：此处ip地址不太一样
安装三个系统（master、slave1、slave2）以master为例，slave安装方法相同
新建虚拟机，选择提前下载好的ubuntu进行安装，命名为master，为了方便，密码都设为123456.

之后选项可以直接点下一步，直至完成，也可以根据硬盘容量更换存储地址。
系统开始正式安装，等待安装完成
安装完系统更改ip、子网、网关、DNS，如果还是没有网SNN需要填好。
（需要插入图片）

---

4.2 修改hostname与hosts文件

三条机器都需要修改，以master上机器为例，打开终端
安装过程中遇到了vim编辑键盘乱码的情况，因此重新安装vim编辑器

~$ sudo apt-get remove vim-common #卸载原包
~$ sudo apt-get update #更新
~$ sudo apt-get upgrade #安装
~$ sudo apt-get install vim #安装

可以先查看一下目前的ip是不是自己设置的那样

~$ ifconfig  #查看ip信息

执行如下的操作
把hostname修改成master:

~$ sudo vi /etc/hostname #打开hostname

将ubuntu改成master

把hosts修改成如下所示的样子：

~$ sudo vi /etc/ho