spark安装教程

一、安装ubuntu以及vmtools

安装时点击其他选项，

第一个分区为512mb的交换空间

第二个分区为剩余的空间，挂载点是/

按住alt键往上拖

安装完重启

安装vmtools工具

弹出来之后，右键打开命令提示符

右键解压到home文件夹，

解压完./运行.pl文件

重启生效

二、配置用户信息

1新建Hadoop用户

sudo useradd -m hadoop -s /bin/bash

2为Hadoop用户设置密码

sudo passwd hadoop

3为Hadoop用户增加权限

sudo adduser hadoop sudo

4切换到Hadoop用户

sudo -su hadoop

5安装vim命令

sudo apt install vim

6安装ssh server

sudo apt-get install openssh-server

三、配置ssh

1查看IP地址

ifconfig

ssh localhost

Ubuntu设置静态IP

步骤1：

输入sudo vi /etc/network/interfaces，打开这个文件：改为

auto lo

iface to inet loopback

auto ens33

iface ens33 inet static

address 192.168.52.141

netmask 255.255.255.0

gataway 192.168.52.1

dns-nameservers 114.114.114.114

参照上图进行填写，其中网卡名称、静态IP地址、网关需要根据实际进行填写，填写好后保存退出。

reboot重启系统，系统重新起来后就是用的设置的静态IP地址了。

2克隆两台机器，要创建完整克隆

3加权（三台机器都加权）

sudo -su root

cd /usr/local

chown -R hadoop:hadoop hadoop/

sudo -su hadoop

4修改主机名

sudo vim /etc/hostname

改为master、slave1、slave2

5修改hosts文件（三台机器都要修改成一样的）

sudo vim /etc/hosts

127.0.0.1 localhost

192.168.52.141 master

192.168.52.142 slave1

192.168.52.143 slave2

6生成公钥

ssh-keygen -t rsa -P “”    

7自己接收公钥

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

8通过scp命令传到slave1，slave2

scp ~/.ssh/id_rsa.pub hadoop@slave1:/home/hadoop/

scp ~/.ssh/id_rsa.pub hadoop@slave2:/home/hadoop/

9在slave1、slave2里分别执行接收命令

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

rm ~/id_rsa.pub

四、JDK安装配置

1打开压缩包所在的位置

cd /mnt/hgfs/share/

2创建解压后的文件夹

sudo mkdir -p /usr/lib/jvm

3解压

sudo tar -zxvf jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm/

4解压完成之后，jdk重命名

cd /usr/lib/jvm

sudo mv jdk1.8.0_162/ jdk

5编辑~/.bashrc文件

sudo vim ~/.bashrc

末尾添加如下内容

export JAVA_HOME=/usr/lib/jvm/jdk

export JRE_HOME=${JAVA_HOME}/jre

    export CLASSPAT