mesos运行spark框架

所在的团队需要引入mesos平台以便运行spark并行计算，花了几天时间部署并测试运行成功，将步骤及遇到的问题整理一下。

1、mesos安装。

先是采用第三方的二进制包mesosphere安装，然后配置。这一个叫简单，下载到二进制包即可。

然后采用了源码编译的安装，安装步骤及遇到的问题如下说明：

1.1 下载meso源码包，链接：https://pan.baidu.com/s/1nwCwFih 密码：57oa

1.2 解压并 cd mesos，然后依次

./bootstra 

mkdir build && cd build   ## 创建单独的编译目录

../configure --prefix=/usr/app/mesos  ## 指定安装目录

make

make install

1.2 配置并启动mesos

cd /usr/app/mesos/etc/mesos  ##参见1.2中configure指定的安装目录，以下的配置均在此目录下进行

cat mesos-agent-env.sh.template > mesos-agent-env.sh

cat mesos-deploy-env.sh.template > mesos-deploy-env.sh

cat mesos-master-env.sh.template > mesos-master-env.sh

cat mesos-slave-env.sh.template > mesos-slave-env.sh

在mesos-master-env.sh添加配置，如果添加了zookeeper，也需要配置在此文件中

export MESOS_log_dir=/usr/app/mesos/log

export MESOS_work_dir=/usr/app/mesos/wk

配置mesos-agent-env.sh和mesos-slave-env.sh（两个文件的配置方法是一样的）

export MESOS_master=master:5050  ## master为/etc/hosts中指定的与ip的映射
export MESOS_log_dir=/usr/app/mesos/log  ## 手动创建的目录
export MESOS_work_dir=/usr/app/mesos/wkagent  ## 手动创建的目录用于存储slave端的资料

export MESOS_isolation=cgroups

添加masters文件并经master信息加进去：

echo master > masters   ## 注意需