Spark集群配置
环境:Ubuntu10.04, Hadoop 0.20.2, JDK 1.6, Spark 0.7.2, Scala 2.9.3
前置条件:
1、三台机器,这里通过创建三个VMware虚拟机来模拟三台物理机器2、Linux系统,例如Ubuntu、CentOS、Fedora等,这里是Ubuntu10.04
3、jdk for linux版本,这里是jdk-6u25-linux-i586.bin
4、hadoop0.20.2.tar.gz文件
5、Scala文件,这里是scala-2.9.3.tgz
6、Spark文件,我们选择的是编译好的一个Spark版本文件spark-0.7.2-prebuilt-hadoop1.tgz
一、安装Linux系统(Ubuntu10.04 LTS)
$sudo apt-get update #更新系统,需连网二、更改主机名,映射IP地址
1、$sudo gedit /etc/hostname #主机名master、slave1、slave2
$source /etc/hostname
2、
$ifconfig #查看IP地址
$sudo gedit /etc/hosts #IP地址与主机名的映射
192.168.117.138 master
192.168.117.136 slave1
192.168.117.139 slave2
$source /etc/hosts #使文件修改生效(需要重启生效)
三、安装 JDK
1、将jdk-6u25-linux-i586.bin拷贝到/home/tom目录下或用命令$cp ~/Desktop/jdk-6u25-linux-i586.bin /home/tom