Mesos——Zookeeper+Mesos+Marathon搭建一个弹性高并发CICD集群

最新推荐文章于 2024-04-26 14:38:53 发布
最新推荐文章于 2024-04-26 14:38:53 发布
阅读量482 收藏 3
点赞数 1
分类专栏： Devops 文章标签： devops
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51971452/article/details/118029917
版权

如何使用Zookeeper+Mesos+Marathon搭建一个沙箱式集群管理平台
有了Mesos这样的一个集群框架，再集成CICD，可以最大化的实现资源管理、减少时间成本
为什么要把Jenkins 运行到Apache Mesos集群上？
1、把Jenkins运行到Apache Mesos上，或者说利用Apache Mesos想Jenkins提供slave资源，最主要的目的时，利用Mesos的弹性资源分配来提高资源利用率。通过配置Jenkins-on-Mesos插件，Jenkins master可以在作业构建时根据实际需要动态的想Mesos申请slave节点，并在构建完成的一段时间后将节点归还给Mesos
2、同时，Marathon会对发布到它之上的应用程序进行健康检查，从而在应用程序由于某些原因以为崩掉后自动重启该应用。这样，选择利用Marathon管理Jenkins Master保证了该构建体系的全局高可用。而且，Jenkins Master本身也通过Marathon部署运行在Mesos资源池内，进一步实现了资源共享，提高资源利用率
————————————————
解决的问题包括：
1、扩/缩容效率低
当业务节点需要进行扩/缩容时，从机器下线到应用部署、测试，周期较长。当业务遇到突发流量高峰时，增加设备并部署后，可能流量高峰已经过去了。这些本身与设计无关，即使接口应用已经设计成无状态的，但是想要做扩容也是-件非常麻烦的事。work agent主机或者云主机数量固定的情况下，实现弹性拓展，资源最大化，最小数量的agent可应对流量高峰时高并发构建
2、资源闲置率高
我们经常能够看到服务器的资源闲置率非常高，而开发团队、测试团队却经常面临无机器可用的情况。
2、解决传统CI框架中master一直pending阻塞状态
3、Marathon健康检查长应用，保证稳定

Mesos概述

Apache Mesos 是一款基于多资源（内存、CPU、磁盘、端口等）调度的开源集群管理套件，能使容错和分布式系统更加容易使用。其采用了Master/Slave结构来简化设计，将Master做的尽可能轻量级，仅保存了各种计算框架（Framwork）和Mesos Slave的状态信息,这些状态很容易在Mesos出现故障时被重构，所以使用zookeeper解决master单点故障问题。

Mesos工作原理

在这里插入图片描述

Mesos Master充当全局资源调度器角色，采用某种策略算法将某个Save
上的空闲资源分配给某个Famework,而各种Framework则是通过自己的调度器向master注册进行接入，master slave则是收集任务状态和启动各个Framework的Executor。其架构图如下：

基本术语
  • Mesos master: 负责管理各个Framework和Slave,并将Slave 上的资源分配给各个 - - Framework。
  • Mesos Slave:负责管理本节点上的各个Mesos Task,为各个Executor分配资源。
  • Framework:计算框架，如:Hadoop、Spark等，可以通过MesosSchedulerDiver接入Mesos。
  • Executor：执行器，在Mesos Slave上安装，用于启动计算框架中的Task。

Zookeeper概述

zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现。是Hadoop的HBASE的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。其中master选举可以说是Zookeeper最典型的应用场景了。生产环境中Zookeeper是以宕机个数过半来让整个集群宕机的，所以maser至少三个节点

Marathon概述

marathon是一个Mesos框架，能够支持运行长服务，比如web应用等。是集群的分布式init.d，能够原样运行Linux二进制发布版本，如Tomcat、Play等，可以集群的多进程管理。也是一种私有Pass，实现服务的发现，为部署提供REST API服务，有授权和SSL、配置约束、通过HAProxy实现服务发现和负载均衡。

配置搭建弹性高并发集群管理平台

环境如下所示：
主机					IP地址					安装软件包

master 192.168.26.150 jdk-8u91-linux-x64.tar.gz/mesos-0.25.0.tar.gz/zookeeper-3.4.10.tar.gz/ marathon-0.15.2.tgz

master1 192.168.26.139 jdk-8u91-linux-x64.tar.gz/ mesos-0.25.0.tar.gz /zookeeper-3.4.10.tar.gz

master2 192.168.26.140 jdk-8u91-linux-x64.tar.gz/mesos-0.25.0.tar.gz/zookeeper-3.4.10.tar.gz

slave 192.168.26.141 jdk-8u91-linux-x64.tar.gz/mesos-0.25.0.tar.gz/docker

slave1 192.168.26.142 jdk-8u91-linux-x64.tar.gz/mesos-0.25.0.tar.gz/docker

步骤如下：
一、安装Mesos

关闭所有主机的防火墙和安全策略

systemctl stop firewalldservice
systemctl disable firewalld.service
setenforce 0

1、配置JAVA环境

tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
cd /usr/local
mv jdk1.8.0_91/ java

vim /etc/profile
export JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar

source /etc/profile

2、安装相关环境

  • 安装开发工具
  • 添加Apache-maven源
  • 安装相关依赖包
  • 配置WANdiscoSvn网络源

（1）安装开发工具

yum groupinstall -y "Development Tools"

（2）添加apache-maven源，为Mesos提供项目管理和构建自动化工具的支持

wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo

（3）安装相关依赖包

yum install -y apache-maven python-devel zlib-devel libcurl-devel openssl-devel cyrus-sasl-devel cyrus-sasl-md5 apr-devel apr-util-devel subversion-devel

（4）配置WANdiscoSVN网络源

vim /etc/yum.repos.d/wandisco-svn.repo

[WANdiscoSVN]
name=WANdisco SVN Repo 1.9
enabled=1
baseurl=http://opensource.wandisco.com/centos/7/svn-1.9/RPMS/$basearch/
gpgcheck=1
gpgkey=http://opensource.wandisco.com/RPM-GPG-KEY-WANdisco

3、配置Mesos环境变量

vim /etc/profile
export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so
export MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so

sorce /etc/profile

4、构建Mesos

tar zxvf mesos-0.25.0.tar.gz -C /opt/
mv /opt/mesos-0.25.0/ /root/
cd /root/mesos-0.25.0
mkdir build
cd  build
../configure

make              //等待时间长（在线状态）
make check
make install
二、配置Mesos-Master（三台master配置一样）

1、规划master主机名
Mesos-master负责维护slave集群的心跳，从slave提取资源信息，配置之前做好相应的解析工作

hostnamectl set-hostname master  #修改相应的主机名
vim /etc/hosts      #修改hosts文件
192.168.26.131 master
192.168.26.139 master1
192.168.26.140 master2
192.168.26.141 slave
192.168.26.142 slave1

ln -sf /root/mesos-0.25.0/build/bin/mesos-master.sh /usr/sbin/mesos-master

2、启动Mesos-Master

mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 
参数：
	--work_dir:运行期数据存放路径，包含sandbox、slavemeta等信息
	--log_dir:Mesos日志存放路径
	--[no]hostname_lookup:是否从DNS获取主机名、本例中关闭了此项配置，直接显示IP
	--ip:Mesos 进程绑定的IP

3、配置完成后打开另一个终端使用浏览器访问本地的5050端口
http://l92.168.26.150:5050

三、配置Mesos-Slave（两台slave配置一样）

1、规划slave主机名
Mesos-slave负责接收并执行来自Mesos-master传递的任务以及监控任务状态，收集任务使用系统的情况，配置之前做好解析工作。
hostnamectl set-hostname slave
在这里插入图片描述

vim /etc/hosts      #修改hosts文件
192.168.26.150 master
192.168.26.139 master1
192.168.26.140 master2
192.168.26.141 slave
192.168.26.142 slave1
ln -sf /root/mesos-0.25.0/build/bin/mesos-slave.sh /usr/sbin/mesos-slave #创建链接文件

2.安装并启动docker

yum install docker -y

systemctl start docker.service
systemctl enable docker.service

注意docker服务启动失败，解决方案请参考博客http://blog.51cto.com/11134648/2162785。
3.启动Mesos-slave服务

mesos-slave --containerizers="mesos,docker" --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --master=192.168.26.148:5050 --no-hostname_lookup --ip=0.0.0.0

注意当启动失败时，有可能链接文件没有生效，使用如下命令

cd /root/mesos-0.25.0/build/bin/

./mesos-slave.sh --containerizers="mesos,docker" --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --master=192.168.26.150:5050 --no-hostname_lookup --ip=0.0.0.0

4.查看slave状态
使用浏览器再次对master的5050端口进行访问
http://:192.168.26.150:5050
在这里插入图片描述

四、安装Zookeeper

1.分别在所有的master节点上安装Zookeeper

wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
tar zxvf zookeeper-3.4.10.tar.gz -C /home/q/
cd /home/q/zookeeper-3.4.10/
mv conf/zoo_sample.cfg conf/zoo.cfg

2.修改Zookeeper的配置文件
以server.A=B:C:D 格式定义各个节点的相关信息，其中A是一个数字，表示第几号服务器；B是这个服务器的IP地址；C为与集群中的Leader服务器交换信息的端口；D是在leader挂掉时专门进行Leader选举时所用的端口。

cd /home/q/zookeeper-3.4.10/conf

vim zoo.cfg 
   dataDir=/home/q/zookeeper-3.4.10/data   //重新定义Datadir的位置
   dataLogDir=/home/q/zookeeper-3.4.10/datalog
   server.1=192.168.26.150:2888:3888
   server.2=192.168.26.139:2888:3888
   server.3=192.168.26.140:2888:3888

3.修改完的配置文件拷贝给其他master主机

scp zoo.cfg 192.168.26.139:/home/q/zookeeper-3.4.10/conf/
scp zoo.cfg 192.168.26.140:/home/q/zookeeper-3.4.10/conf/

4.在dataDir路径下创建一个myid文件

master主机上（/home/q/zookeeper-3.4.10/）
mkdir data datalog 
echo 1 > data/myid
cat data/myid
master1主机上（/home/q/zookeeper-3.4.10/）
mkdir data datalog 
echo 2 > data/myid
cat data/myid
master2主机上（/home/q/zookeeper-3.4.10/）
mkdir data datalog 
echo 3 > data/myid
cat data/myid

5.分别在各master节点上启动Zookeeper服务

master主机
./bin/zkServer.sh start conf/zoo.cfg 
master1主机
./bin/zkServer.sh start conf/zoo.cfg 
master2主机
./bin/zkServer.sh start conf/zoo.cfg

6.查看主机状态

./bin/zkServer.sh status

7.分别启动Mesos-master
注意先kill掉之前启动的Mesos-master进程

master主机
mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 --zk=zk://192.168.26.150:2181/mesos --quorum=2
master1主机
mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 --zk=zk://192.168.26.139:2181/mesos --quorum=2
master2主机
mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 --zk=zk://192.168.26.140:2181/mesos --quorum=2

8.启动Mesos-slave
注意先kill掉之前启动的Mesos-master进程

mesos-slave --containerizers="mesos,docker" --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --master=zk://192.168.26.150:2181,192.168.26.139:2181,192.168.26.140:2181/mesos --no-hostname_lookup --ip=0.0.0.0

注意当启动失败时，，有可能链接文件没有生效，使用如下命令

cd /root/mesos-0.25.0/build/bin/

./mesos-slave.sh --containerizers="mesos,docker" --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --master=zk://192.168.26.150:2181,192.168.26.139:2181,192.168.26.140:2181/mesos --no-hostname_lookup --ip=0.0.0.0

9.使用浏览器指定任意Mesos-master地址的5050端口验证
http://192.168.26.140:5050

若指定的是非Leader状态下的Mesos-master地址，页面会自行跳转至处于leader状态的Mesos-master地址。
在这里插入图片描述

五、在master主机上部署运行Marathon

使用Marathon向Mesos发送任务。
1.安装并启动Marathon

wget http://downloads.mesosphere.com/marathon/v0.15.2/marathon-0.15.2.tgz
tar zxvf marathon-0.15.2.tgz -C /home/q/
cd /home/q/marathon-0.15.2

./bin/start --hostname 192.168.26.150 --master zk://192.168.26.150:2181,192.168.26.139:2181,192.168.26.140:2181/mesos --http_address 0.0.0.0   
//将Marathon安装到多Mesos-master环境的master主机上

2.访问Marathon（默认使用8080端口）
http://192.168.26.150:8080/
在这里插入图片描述
3.使用Marathon创建测试任务
（1）在首页点击Create按钮，创建一个测试任务echo “hello world”
在这里插入图片描述
（2）创建成功以后在applications页面可以看到该任务
在这里插入图片描述
Marathon会自动注册到Mesos中，可以在Mesos web的Framework页面中看到注册信息。
在这里插入图片描述
可以在Mesos Web首页看到测试任务在不停的执行中
在这里插入图片描述
（4）在节点slave主机查看任务的相关信息
（5）删除测试任务
在这里插入图片描述
4.使用Marathon API的形式添加新任务
在节点slave中操作

cd /root
vim demo.json
{
"id":"basic-0",
"cmd":"while [true]; do echo 'hello Marathon'; sleep 5; done",
"cpus":0.1,
"mem":10.0,
"instances":1
}
//查看Marathon网站有新添加任务
curl -X POST -H "Content-type:application/json" http://192.168.26.150:8080/v2/apps -d@demo.json

2）在Marathon页面查看
可以在创建的Nginxd任务下看到该任务发送给主机

（3）用命令行方式查看主机下载的docker镜像
docker images

docker ps -a

（4）访问slave主机上运行着的Nginx服务
http://192.168.26.141

尤达c
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Mesos+Zookeeper+Marathon的Docker管理平台部署记录（个人珍藏版）
08-30
本篇文章详细记录了Mesos+Zookeeper+Marathon的Docker管理平台部署过程，可作为线上实操手册，文档可用性已经过验证！有需要的朋友，请拿走。
开源组件系列（10）：集群化服务资源管理系统（Mesos）
晓阳的数据小站
03-20 970
目录 （一）Mesos基本架构 （二）Mesos资源分配策略 （三）Mesos与YARN的对比 Mesos最早是UC Berkeley的一个研究项目，用以解决编程模型和计算框架多样化环境下，不同框架之间的资源隔离和共享问题。尽管它的直接设计动机与YARN有所不同，但它的架构和实现策略与YARN类似，得到了一定范围内的认可，例如Twitter就在使用。 （一）Mesos基本架构 Meso...
搭建Mesos集群
HJersey的博客
08-31 939
Mesos项目可以很容易地实现分布式应用的自动化调度。同时，Mesos自身也很高的结合和主持了Docker等相关容器技术，基于Mesos已有的大量应用框架，可以实现用户应用的快速上线。Mesos可以将整个数据中心的资源（包括CPU、内存、存储、网络等）进行抽象和调度，是的多个应用同时运行在集群中分享资源，并无需关心资源的屋里分布情况。如果把数据中心中的集群资源看做一台服务器，那么Mesos要做的事情，其实就是今天操作系统内核的职责：抽象资源+调度任务。...
docker容器技术篇：集群管理实战mesos+zookeeper+marathon（三）
最新发布
qq_39241682的博客
04-26 1243
Marathon按照官方的说法是基于Mesos的私有PaaS，它实现了Mesos的Framework。Marathon实现了服务发现和负载平衡、为部署提供REST API服务、授权和SSL、配置约束等功能。Marathon支持通过Shell命令和Docker部署应用。提供Web界面、支持cpu/mem、实例数等参数设置，支持单应用的Scale，但不支持复杂的集群定义。
开源集群管理系统对比分析：Kubernetes 与 Apache Mesos
11-20 1319
集群管理系统是关键的软件解决方案，可以在互连机器网络中有效分配和利用计算资源。毫无疑问，它们通过确保可扩展性、高可用性和有效的资源管理在现代计算中发挥着至关重要的作用，这使得它们对于运行复杂的应用程序、管理数据中心以及进一步增强分布式计算的能力至关重要。据国家电网 ESO报道，尽管数据中心取得了诸多进步，但其电力消耗仍占全球电力消耗的 1%，而这正是集群管理系统在提高能源效率方面可能发挥关键作用的地方。
简单配置Mesos-master和Mesos-slave
ESSE的博客
03-03 1299
Apache Mesos是一个集群管理器,可跨分布式应用程序或框架提供有效的资源隔离和共享 它位于应用程序层和操作系统之间,可以更加轻松的在大规模环境中更有效的部署和管理应用程序,它可以再动态共享节点池上运行许多应用程序. Apache Mesos的特点是需要独立部署mesos-slave进程,依赖framework的功能,可以管理docker容器,但是成本相对较高,主要优势是稳定性有保障. Apache Mesos工作原理 Apache Mesos采用了Master/Slave结构简化设计,将master
docker 集群管理实战mesos+zookeeper+marathon（三）
2301_78677624的博客
04-26 841
https://www.toutiao.com/article/7221354604351537698/?log_from=6b55db495da1d_1681366356776这个教程主要演示部署和使用marathon./start --hostname 192.168.23.101 --master zk://192.168.23.101:2181,192.168.23.102:2181,192.168.23.103:2181/mesos --http_address 0.0.0.0点击Framewor
第六章：项目：Marathon+Mesos+Zookeeper+Docker实战1
08-08
在本文中，我们将深入探讨“第六章：项目：Marathon+Mesos+Zookeeper+Docker实战1”的核心知识点，主要关注Apache Mesos、Zookeeper以及它们在分布式系统中的作用。 首先，Apache Mesos是一个强大的集群管理系统，...
部署文档（mesos+zk+marathon）.docx
03-17
部署文档（mesos+zk+marathon）.docx
MesosClusterSpyke:用于创建 Mesos + Marathon + Chronos + Docker 集群的 Vagrantfiles
05-29
Vagrantfile 和一些用于创建 Mesos + Marathon + Chronos + Docker 集群的 shell 脚本 如果只是尝试 Mesos 集群，那会很痛苦。 这组文件可以让你轻松生成 Mesos 的集群环境。 如果你愿意，你可以参考。 入门 1. ...
Mesos集群搭建
zmm0420的专栏
10-20 360
准备4台机器 1、centos1 （192.168.1.201） 安装zookeeper 命令：docker pull zookeeper:3.4.13 启动zookeeper命令（无需指定启动端口）：docker run --name zk -p 2181:2181--restart always -d docker.io/zookeeper:3.4.13 如果连不上zk...
使用 Marathon 管理 Spark 2.0.2 实现运行
weixin_38113732的博客
06-04 129
背景 去年10月，我们（去哪网）在 Mesos 资源管理框架上实现了 Spark 1.5.2 版本的运行。Spark 版本更新后又对其进行了小升级，沿用之前修改过的代码重新编译，替换一下包，把历史任务全部发一遍就能很好地升级到现在的1.6.1集群版本，1.6.2改动不大也就没有继续升级。到现在正好一年的时间，线上已注册了44个 Spark 任务，其中28个 Streaming 任务。在运行这些任务的过程中我们遇到了很多问题，其中最大的一点是动态扩容问题，即当业务线增加了更复杂的代码逻辑时或者业务增长导致处理
【云星数据---mesos实战系列003】：marathon实战004--marathon部署一套Tomcat环境（精简代码版）
云星数据-http://www.cloud-star.com.cn
11-11 8141
marathon部署一套Tomcat环境（精简代码）1.要求： 成功部署Tomcat,t通过浏览器能够访问Tomcat的页面。目的是测试Tomcat在marathon中的管理方式，为后续微服务做知识探索。2.实现：首先编辑marathon部署所使用的json文件，文件内容如下：cat tomcat.json{ "id": "tomcat", "cpus": 1, "mem": 128,
使用Mesos和Marathon管理Docker集群
weixin_34194317的博客
08-11 194
2019独角兽企业重金招聘Python工程师标准>>> ...
mesos zookeeper docker centos7 正确集群配置姿势
AI
07-10 609
减少杂乱的网络资料，回溯下三主三从的mesos集群正确姿势配置192.168.176.136（master01） mesos-master,zookeeper192.168.176.137（master02） mesos-master,zookeeper192.168.176.138（master03） mesos-master,zookeeper192.168.176.150（slave01）m...
创建ZooKeeper+Mesos集群，三个Master，两个Slave
羊同学
04-12 1016
在三台虚拟机上分别部署Mesos及ZooKeeper 可以参考我的另外两篇文章去部署Mesos和ZooKeeper 重新配置静态地址 静态地址需要和/app/zookeeper/conf/zoo.cfg中的地址一致 修改ZooKeeper的myid 修改/var/zookeeper/data/myid，需要和/app/zookeeper/conf/zoo.cfg中的myid一致 启动ZooKeep...
Mesos集群快速搭建
47oo的博客
07-07 630
Mesos下载地址 mesos download 在虚拟机上快速搭建mesos集群 如果你有vagrant和virtualbox，那么你可以通过以下方式快速搭建一个具有3个节点的mesos集群，包含两个slave以及一个master # 下载部署文件 git clone https://github.com/47oo/cluster-create-easy.git cd cluster-create-easy/mesos # 快速创建虚拟机 vagrant up vagrant ssh master
搭建基于mesos的spark集群
二师兄
02-07 5061
1、准备 1)、安装scala（略） 2)、安装mesos 2、安装 # mkdir /usr/local/spark # cd /usr/local/spark # wget http://d3kbcqa49mib13.cloudfront.net/spark-2.0.1-bin-hadoop2.7.tgz # tar -zxvf spark-2.0.1-bin-hadoop2.
mesos入门（二）——简单环境搭建
tjq980303的博客
03-25 2567
上一篇文章我们了解了mesos解决的问题以及其大致的原理，这篇文章就开始实战搭建一个mesos实战环境 简介 具体地址+操作: https://github.com/ncuwaln/mesos-learn 环境搭建我们采用vagrant来最大程度的模拟真实环境，采用ansible来进行分布式自动运维 环境组成：mesos+docker+marathon，目前暂时只是单master，单z...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值