使用Mesos管理Docker(Mesos+Marathon+Docker)

最新推荐文章于 2024-01-21 03:45:24 发布
最新推荐文章于 2024-01-21 03:45:24 发布
阅读量255 收藏
点赞数
原文链接：http://blog.51cto.com/13643643/2162906
版权

Apache Mesos是一个集群管理器，可跨分布式应用程序或框架提供有效的资源隔离和共享。它位于应用程序层和操作系统之间，可以更加轻松地在大规模集群环境中更有效地部署和管理应用程序。它可以在动态共享节点池上运行许多应用程序
Apache Mesos将CPU，内存，存储和其他计算资源从机器（物理或虚拟）中抽象出来，使容错和弹性分布式系统能够轻松构建并有效运行。

环境准备

操作系统：CentOS-7-x86_64
内核版本：3.10.0-693.el7.x86_64

mesos的安装要求是内核版本须在3.10以上

uname -r    //查看系统内核版本
关闭虚拟机防火墙
setenforce 0
systemctl stop firewalld.service
虚拟机分配
主机名IP地址安装软件
master1172.16.10.28jdk-8u144、marathon-1.4.6、mesos-1.6.1、zookeeper-3.4.12
master2172.16.10.44jdk-8u144、mesos-1.6.1、zookeeper-3.4.12
master3172.16.10.45jdk-8u144、mesos-1.6.1、zookeeper-3.4.12
slave1172.16.10.46jdk-8u144、mesos-1.6.1、docker
slave1172.16.10.47jdk-8u144、mesos-1.6.1、docker
虚拟机的hostname及hosts文件都需做修改
hostnamectl set-hostname master1     //分别修改虚拟机的主机名，一一对应，重启生效
vim /etc/hosts
192.168.175.132 master
192.168.175.150 master1
192.168.175.151 master2
192.168.175.152 slave1
192.168.175.153 slave2     //所有虚拟机hosts文件内容一致

安装Apache Mesos

配置Java环境

解压、归档软件包
tar zxf jdk-8u144-linux-x64.tar.gz
mv jdk1.8.0_144 /usr/local/java
配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
source /etc/profile    //刷新使环境变量生效

安装相关环境

安装开发工具
yum -y groupinstall "Development Tools"
添加apache-maven源
wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
安装依赖包
yum install -y apache-maven \
-- python-devel \
-- python-six \
-- python-virtualenv \
-- java-1.8.0-openjdk-devel \
-- zlib-devel \
-- libcurl-devel \
-- openssl-devel \
-- cyrus-sasl-devel \
-- apr-devel \
-- subversion-devel \
-- apr-util-devel \
-- cyrus-sasl-md5
配置WANdiscoSVN网络源
vim /etc/yum.repo.d/wandisco-svn.repo

[WANdiscoSVN]
name=WANdisco SVN Repo 1.9
enabled=1
baseurl=http://opensource.wandisco.com/centos/7/svn-1.9/RPMS/$basearch/
gpgcheck=1
gpgkey=http://opensource.wandisco.com/RPM-GPG-KEY-WANdisco

yum update systemd -y

配置Mesos环境变量

vim /etc/profile
export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so
export MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so
source /etc/profile    //刷新使环境变量立即生效
升级pytz
安装pip
tar zxvf pip-1.5.4.tar.gz 
cd pip-1.5.4
python setup.py install
升级pytz
pip install pytz --upgrade    //网络不好容易失败。

构建mesos

tar zxvf mesos-0.25.0.tar.gz -C /root           //解压软件包
cd /root/mesos-0.25.0
mkdir build                                                  //构建配置
cd build
../configure
make                                                           //编译
make check                                                //运行测试集
make install                                                //安装

因为在安装apache mesos时耗时一个多小时，在配置群集时都需要安装此软件，所以建议采用克隆虚拟机的方式减少用时。至此实验所需的五台服务器都安装mesos软件

部署zookeeper集群

安装软件包

软件安装
mkdir /home/q
tar zxvf zookeeper-3.4.6.tar.gz -C /home/q/
mv /home/q/zookeeper-3.4.6 /home/q/zookeeper
修改配置文件

三台master都需操作

cd /home/q/zookeeper/conf
mv zoo_sample.cfg zoo.cfg                             //模板和配置文件不能同时存在
vim zoo.cfg 
dataDir=/home/q/zookeeper/data
dataLogDir=/home/q/zookeeper/datalog          //手动创建/data /datalog目录
server.1=172.16.10.28:2888:3888
server.2=172.16.10.44:2888:3888
server.3=172.16.10.45:2888:3888                    //2888为信息交互端口，3888为选举端口
cd /home/q/zookeeper
mkdir data datalog                                             //三台master都需创建

使用Mesos管理Docker(Mesos+Marathon+Docker)

创建myid文件

此处创建的myid文件，对应的是在上述配置文件中server.1、server2……后对应的数字，三台服务器对应修改，各不相同，一一对应。

echo 1 > data/myid  //在master1上操作（/home/q/zookeeper/中）
echo 2 > data/myid   //在master2上操作（/home/q/zookeeper/中）
echo 3 > data/myid   //在master3上操作（/home/q/zookeeper/中）
启动服务

在三台master服务器上安装zookeeper软件，然后启动服务，在服务开启完成之后就会开始选取leader，通过查看状态即可获取服务器的角色，**注意这里选举的leader只是zookeeper的leader，并不是mesoso的leader。

cd /home/q/zookeeper                             //注意切换目录
./bin/zkServer.sh start conf/zoo.cfg          //在三台master都启动该服务
./bin/zkServer.sh status                           //查询角色信息

验证单点故障

当角色为follower的zookeeper服务下线时，leader并不会重新选举，但是当角色为leader下线时，则会重新选举，产生新的leader，则实现了集群的故障转移。

./bin/zkServer.sh start conf/zoo.cfg       //注意脚本所在目录

使用Mesos管理Docker(Mesos+Marathon+Docker)
使用Mesos管理Docker(Mesos+Marathon+Docker)

部署mesos集群

安装完成zookeeper之后，zookeeper会选举出leader帮助mesos选举leader，确定多master环境中，谁处于actived，又有哪些master是处于standby状态。就是说，在接下来分派任务时，三台master会去找zookeeper的leader询问，谁是主，谁来负责分派任务，建议在生产环境中不要将zookeeper和mesos装在同一台服务器中，实验环境，为了节省虚拟机就装在一起。

开启mnesos-master服务

在开启该服务之后，终端会被占用，若是想在终端上继续操作，则需开启新终端进行操作。

mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 --zk=zk://172.16.10.28:2181/mesos --quorum=2
//在master1上执行，在编译安装完成之后，系统会自动识别该命令，不需要创建软连接即可直接使用
mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 --zk=zk://172.16.10.44:2181/mesos --quorum=2
//在master2上执行
mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 --zk=zk://172.16.10.45:2181/mesos --quorum=2
//在maseter3执行,地址为master3地址

网页访问

登陆网站之后，leader即选举完成，不论你使用的是那个master的地址访问，最终显示的都是leader页面，我在使用老版本做的时候发现，网页是会跳转的，但是新版本中改变了机制，但是实现的效果是一致的，即总是展示leader页面。
使用Mesos管理Docker(Mesos+Marathon+Docker)
使用Mesos管理Docker(Mesos+Marathon+Docker)

验证单点故障

关闭leader所在服务器的mesos服务，mesos会重新指定leader，接替进行工作
使用Mesos管理Docker(Mesos+Marathon+Docker)

开启mesos-slave

安装，启用docker

在两台slave中都安装docker 并开启

yum install docker -y
systemctl start docker.service
systemctl enable docker.service
启用mesos-slave

启动服务之后同样会占用终端，若继续操作则需打开新终端，两台slave的开启命令一致

mesos-slave --containerizers="mesos,docker" --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --master=zk://172.16.10.28:2181,172.16.10.44:2181,172.16.10.45:2181/mesos --no-hostname_lookup --ip=0.0.0.0

访问mesos网站

使用Mesos管理Docker(Mesos+Marathon+Docker)

部署Marathon

Marathon是一个mesos框架，能够支持运行长服务，本次实验中，使用marathon向mesos发送任务。
Marathon特性：

  • 高可用性。Marathon作为主动/被动群集运行，领导者选举可以实现100％的正常运行时间。
  • 多个容器运行时。Marathon拥有对Mesos容器（使用cgroups）和Docker的一流支持。
  • 有状态的应用。Marathon可以将持久存储卷绑定到您的应用程序。您可以运行MySQL和Postgres等数据库，并由Mesos占用存储空间。
  • 美丽而强大的UI。
  • 制约因素。这些允许例如每个机架，节点等仅放置应用程序的一个实例。
  • 服务发现和负载平衡。几种方法可用。
  • 健康检查。使用HTTP或TCP检查评估应用程序的运行状况。
  • 活动订阅。提供HTTP端点以接收通知 - 例如，与外部负载均衡器集成。
  • 指标。以JSON格式在/ metrics查询它们或将它们推送到诸如graphite，statsd和Datadog之类的系统。
  • 完整的REST API，易于集成和编写脚本

安装，开启marathon服务

在master1中安装该服务

tar xf marathon-1.4.6.tgz -C /home/q
mv /home/q/marathon-1.4.6/ /home/q/marathon
cd /home/q/marathon/
./bin/start --hostname 172.16.10.28 --master zk://172.16.10.28:2181,172.16.10.44:2181,172.16.10.45:2181/mesos --http_address 0.0.0.0
//开启服务

测试marathon

访问网页创建test任务

在marathon上创建一个test任务，mesos会将任务分派给集群中的代理来执行任务，任务会随机发布给agent执行
使用Mesos管理Docker(Mesos+Marathon+Docker)
使用Mesos管理Docker(Mesos+Marathon+Docker)

创建docker任务

在slave1上进行操作，创建一个json文件，执行安装nginx

vim nginx.json         //json文件创建在/目录下

{
"id":"/nginx",
"container":{
"type":"DOCKER",
"docker":{
"image":"nginx",
"network":"HOST",
"parameters":[],
"privileged":false,
"forcePullImage":false
}
},
"cpus":0.1,
"mem":32.0,
"instances":1
}
执行任务
curl -X POST -H "Content-type:application/json" http://172.16.10.28:8080/v2/apps -d@nginx.json

使用Mesos管理Docker(Mesos+Marathon+Docker)

查看任务执行情况
ps aux | grep docker    //终端查询

使用Mesos管理Docker(Mesos+Marathon+Docker)

查看marathon网页

使用Mesos管理Docker(Mesos+Marathon+Docker)

查看mesos网页

使用Mesos管理Docker(Mesos+Marathon+Docker)

访问nginx首页

当任务执行完成之后，即可使用分配执行任务的网址访问nginx测试首页
使用Mesos管理Docker(Mesos+Marathon+Docker)

转载于:https://blog.51cto.com/13643643/2162906

weixin_33933118
关注
基于 Docker 部署 ZooKeeper+Mesos+Marathon 群集（单节点）
Xucf1
06-27 950
文章目录前言前置知识点简介环境准备（Docker）1）拉取相关镜像2）ZooKeeper3）Mesos-Master4）Mesos-Slave5）Marathon（测试） 前言 使用软件：VMware Workstation 16 Pro ISO映像文件：CentOS 7 本教程将会给你展示，如何使用Docker容器，仅需一台主机，来迅速部署一个单节点的Mesos集群！ 前置知识点简介 ZooKeeper：用来给集群服务维护配置信息及域名服务，并提供分布式同步和组服务，是是个分布式的，开源的协调服务（维护
Docker系列之（二）：使用Mesos管理Docker集群（Mesos + Marathon + Chronos + Docker）
dianxisu8222的博客
02-03 209
1.Mesos简介 1.1 Mesos Apache Mesos是一个分布式系统的管理软件，对集群的资源进行分配和管理。 Mesos主要由以下几部分组成： Master：管理各Slave节点 Slave：为集群提供资源 Framework：scheduler从Master请求资源，executor在Slave上执行任务 Slave节点上的每个executor是...
Mesos和Docker的集成
博文视点（北京）官方博客
03-01 287
引言：众所周知，Mesos全面支持Docker。但是这意味着什么呢？在命令行里运行docker run…就可以使用Docker了。还需要做什么？让我们一起研究下Mesos的高级特性——和Docker的集成。 本文选自《用Mesos框架构建分布式应用》。 　　因为Docker本身想管理整个容器，从chroot、命名空间到整个命名空间的cgroup，它会和默认的Mesos容器发生冲突。因此...
mesos管理docker集群总结
ronon77的专栏
07-14 273
           mesos环境搭建起来了，如下：                      采用master-slave模式，没带验证的管理，始终都有潜在的风险，但有些功能做得并不是深入，如管理slave上的主机，就没有多少深入的管理，发布应用也一样，并不是很直观指定这个应用发到哪台slave，对于发布的命令的也很单一，命令形式          以上是谈mesos管理集群的，虽说...
mesos+zk+Marathon实现对docker容器的管理
热门推荐
lsysafe的博客
05-30 2万+
1、系统环境:CentOS Linux release 7.6.1810 (Core) 五台机器 [root@m5 mesos]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.locald...
single-docker-mesos:快速部署mesos+marathon+docker单节点集群，便于开发和调试
05-06
基于Docker快速搭建单节点Mesos/Marathon集群,增加支持marathon管理运行docker功能 GitHub地址： ##一. 简介 是集群资源管理系统，是运行在Mesos之上的集群计算架构。将Mesos和Marathon打包到镜像中，开发者便可以在...
centos7配置zookeeper+mesos+marathon+docker
李青锋的专栏
09-01 1054
本文主要介绍mesos相关集群的安装和配置过程，主要在centos7中采用yum安装的方法，帮助快速搭建可用的mesos集群服务，可以借助marathon等工具，进行docker的管理。本文主要讲述该集群的安装和配置过程，并不涉及该集群的使用方法演示。
『高级篇』docker之Mesos集群架构图（23）
weixin_34000916的博客
02-09 171
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：『高级篇』docker之Mesos集群架构图（23）上次我们了解了Mesos的原理，这次我们想办法给环境搭建起来，但是搭建环境之前，首选得有服务器，这边就拿mac本和虚拟机来搭建。4台服务器。所以感觉需要画一个架构图，明确下每台服务器上需要安装什么软件，方便之后的环境搭建，和了解他们之前是如何交互的。有四台服务器，一台是主机（...
Mesos+docker的业务场景
fantalsf的专栏
02-24 751
云计算操作系统的主要优点： 优势 说明 易部署 利用Docker消除开发、测试和生产的差异性。实现快速部署，灰度发布和快速回滚 横向扩张（scaling） 快速扩张增加实例数量，顶住突增的高并发流量 自动恢复（failover） 当底层宿主机出现故障的时候，自动将应用“迁移”到其他宿主机上，确保服务不降级 高资源利用率 例如容器细粒度地划分宿主机资源，尽量多跑容
mesos docker java_Mesos + Docker如何构建你自己的框架
weixin_34123811的博客
02-13 99
Mesos + Docker如何构建你自己的框架Apache Mesos是一个集群管理器，能够简化在一堆共享服务器池中运行任务的复杂性，Docker是一个轻量容器用来部署打包的服务，类似一个虚拟机，但是消耗资源很小。Mesos从0.20版本支持Docker，Mesos + Docker结合能够提供一个非常强大的在集群环境中部署应用和服务的平台。这篇教程将解释如何使用Mesos 02.0.1和Doc...
Docker搭建Mesos体系
qq_36056567的博客
04-04 486
设置docker yum install -y yum-utils sudo yum-config-manager \ --add-repo \http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo sudo yum install docker-ce docker-ce-cli containerd.io sudo systemctl restart docker 启动了docker 设置docker国内镜像 (harbor
MesosClusterSpyke:用于创建 Mesos + Marathon + Chronos + Docker 集群的 Vagrantfiles
05-29
Vagrantfile 和一些用于创建 Mesos + Marathon + Chronos + Docker 集群的 shell 脚本 如果只是尝试 Mesos 集群，那会很痛苦。 这组文件可以让你轻松生成 Mesos 的集群环境。 如果你愿意，你可以参考。 入门 1. ...
docker 部署mesos
大学之道
05-09 584
http://dockone.io/article/136
docker+mesos+marathon
agileclipse的专栏
03-03 5258
前言 针对“互联网+”时代的业务增长、变化速度及大规模计算的需求，廉价的、高可扩展的分布式x86集群已成为标准解决方案，如Google已经在几千万台服务器上部署分布式系统。Docker及其相关技术的出现和发展，又给大规模集群管理带来了新的想象空间。如何将二者进行有效地结合？本人将以实验的角度来部署mesos + marathon的docker集群 一、熟知m
Docker与ApacheMesos
最新发布
AI天才研究院
01-21 992
1.背景介绍 1. 背景介绍 Docker和Apache Mesos都是现代分布式系统中广泛应用的技术。Docker是一个开源的应用容器引擎，它使用标准化的容器化技术将软件应用与其依赖包装在一个可移植的环境中，从而实现了应用的快速部署、扩展和管理。Apache Mesos则是一个高效的资源分配和调度系统，它可以在大规模分布式集群中管理多种类型的资源，并提供了一个统一的接口来实现资源的分配和调度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值