mesos运行spark框架

本文详述了在团队中部署Mesos运行Spark的过程,包括Mesos的源码编译安装、配置与启动,以及遇到的资源计算、端口占用、Spark在Mesos上运行的问题和解决策略。在实践中,发现Mesos收集的奴隶节点资源与实际不符,Spark Dispatcher启动异常,以及driver资源分配等问题,并提供了相应的解决方法。
摘要由CSDN通过智能技术生成

所在的团队需要引入mesos平台以便运行spark并行计算,花了几天时间部署并测试运行成功,将步骤及遇到的问题整理一下。

1、mesos安装。

先是采用第三方的二进制包mesosphere安装,然后配置。这一个叫简单,下载到二进制包即可。

然后采用了源码编译的安装,安装步骤及遇到的问题如下说明:

1.1 下载meso源码包,链接:https://pan.baidu.com/s/1nwCwFih 密码:57oa

1.2 解压并 cd mesos,然后依次

./bootstra 

mkdir build && cd build   ## 创建单独的编译目录

../configure --prefix=/usr/app/mesos  ## 指定安装目录

make

make install

1.2 配置并启动mesos

cd /usr/app/mesos/etc/mesos  ##参见1.2中configure指定的安装目录,以下的配置均在此目录下进行

cat mesos-agent-env.sh.template > mesos-agent-env.sh

cat mesos-deploy-env.sh.template > mesos-deploy-env.sh

cat mesos-master-env.sh.template > mesos-master-env.sh

cat mesos-slave-env.sh.template > mesos-slave-env.sh

在mesos-master-env.sh添加配置,如果添加了zookeeper,也需要配置在此文件中

export MESOS_log_dir=/usr/app/mesos/log

export MESOS_work_dir=/usr/app/mesos/wk

配置mesos-agent-env.sh和mesos-slave-env.sh(两个文件的配置方法是一样的)

export MESOS_master=master:5050  ## master为/etc/hosts中指定的与ip的映射
export MESOS_log_dir=/usr/app/mesos/log  ## 手动创建的目录
export MESOS_work_dir=/usr/app/mesos/wkagent  ## 手动创建的目录用于存储slave端的资料

export MESOS_isolation=cgroups

添加masters文件并经master信息加进去:

echo master > masters   ## 注意需

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值