Mesos源码分析(9): Test Framework的启动

最新推荐文章于 2023-08-09 15:21:31 发布
最新推荐文章于 2023-08-09 15:21:31 发布
阅读量1k 收藏
点赞数
分类专栏： DCOS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/popsuper1982/article/details/52139010
版权

我们以Test Framework为例子解释Framework的启动方式。

Test Framework的代码在src/examples/test_framework.cpp中的main函数

首先要指定executor的uri

 

配置ExecutorInfo

 

配置FrameworkInfo

 

创建TestScheduler和MesosSchedulerDriver

 

 

运行MesosSchedulerDriver

 

MesosSchedulerDriver是写Framework的SDK似得的东西，使得写一个Framework非常简单，至于和Mesos-Master的通信等细节，都封装在MesosSchedulerDriver里面了。

 

下一节，我们仔细解析MesosSchedulerDriver

popsuper1982
关注
专栏目录
mesos下载、准备安装环境、编译以及测试
Lucius的专栏
06-07 1万+
参考网址：http://mesos.apache.org/gettingstarted/ 实验环境：mesos版本：0.21.0、操作系统：Red Hat 6 为了了解Spark的三种部署standalone、mesos和YARN。所以想尝试部署下mesos集群。我根据自己的需求，参考了官方文档的如下步骤： Downloading Mesos There are dif
Flink架构，源码及debug
u013939918的博客
07-02 1838
工作中用Flink做批量和流式处理有段时间了，感觉只看Flink文档是对Flink ProgramRuntime的细节描述不是很多， 程序员还是看代码最简单和有效。所以想写点东西，记录一下，如果能对别人有所帮助，善莫大焉。 说一下我的工作，在一个项目里我们在Flink-SQL基础上构建了一个SQL Engine， 使懂SQL非技术人员能够使用SQL代替程序员直接实现Application， 然后在此基础上在加上一些拖拽的界面，使不懂SQL非技术人员利用拖拽实现批量或流式数据处理的Appl...
apache mesos入门（6）——自定义framework在mesos上运行docker
韦远科的专栏
04-26 1493
#!/usr/bin/env python #-*- coding:utf8 import os import sys import time import mesos.interface from mesos.interface import mesos_pb2 import mesos.native TOTAL_TASKS = 5 TASK_CPUS = 1 TASK_MEM = 128
Executor原理剖析与源码分析
tianqinglei的博客
09-13 526
版本：spark2.1.0 1、work中为application启动的executor,实际上是启动了CoarseGrainedExecutorBackend进程 private[spark] object CoarseGrainedExecutorBackend extends Logging { private def run( driverUrl: String,
执行test-framework报错error while loading shared libraries
a515983690的博客
05-06 1100
场景： 搭建完毕Mesos后，搭建marathon测试完全work 但是想执行mesos自带的test-framwork，想研究下关于自己写framwork的代码。 问题： 执行test-framwork一直报错： error while loading shared libraries: libmesos-0.28.0.so: cannotopen shared obj
Mesos源码分析(15): Test Executor的运行
刘超的通俗云计算
08-06 1633
Test Executor的代码在src/examples/test_executor.cpp中   int main(int argc, char** argv) {   TestExecutor executor;   MesosExecutorDriver driver(&executor);   return driver
Mesos源码分析(2): Mesos Master的启动之一
刘超的通俗云计算
07-19 4574
Mesos-Master的启动在src/master/main.cpp文件中进行 1. master::Flags flags 解析命令行参数和环境变量 https://mesosphere.com/blog/2015/05/14/using-stout-to-parse-command-line-options/ 封装了Google的gflags来解析命令行参数和环境变
大数据处理相关框架对比
qa3320754的博客
01-12 1379
大数据处理相关框架对比 对比大数据场景中所使用到的开源框架，包括框架特性、模型、功能、性能、应用场景以及发展方向 0. 前言 todo 大数据定义 todo 大数据特征 todo 大数据技术 todo 大数据应用 todo 大数据发展方向 在使用或学习大数据相关组件前，我们应该了解以下前置知识，包括开源许可证的种类与选择。 0.1 开源许可证 互联网环境下，无论是在企业中开发还是个人进行创作，只要遇到开源软件（小到远程控制工具OpenSSH，JAVA编程语言，大到Linux操作系统），都会见到开源许可证
大数据面试题（相关知识点罗列）
Nahshon的博客
01-18 992
自述：这个可能也不完全是 面试题，就是一些知识点的整理。【愿君一路披荆斩棘，觅得心仪大offer】
数据开发面试题2020总结
布小昕_775的博客
12-11 4468
一 Hadoop面试题 1.1 Hadoop基础（☆☆） 1.1.1下列哪项通常是集群的最主要瓶颈（C） A.CPU B.网络 C.磁盘 IO D.内存 答案解析： C.磁盘 IO对集群的影响 IO作为传输数据的管道如果管道越大对数据的传输也自然够大，其保证集群数据传输的稳定。 1.1.2 下列哪项可以作为集群的管理？（C） C.ClouderaManager D.Zooke...
Java架构专家
最新发布
星月IWJ
08-09 388
java架构专家
apache mesos 入门（3）——自定义framework + executor
韦远科的专栏
04-22 3020
（1）scheduler部分 test_framework.py #!/usr/bin/env python #-*- coding:utf8 import os import sys import time import mesos.interface from mesos.interface import mesos_pb2 import mesos.native TOTAL_TASKS
CentOS上安装mesos和实例测试
用心做事
07-21 3722
1 安装Mesos 在centOS上安装mesos，可以分为下面几个步骤。 必要的系统工具和库，运行下面的命令即可。 $sudo yum groupinstall "Developmenttools" $sudo yum installjava-1.6.0-openjdk.x86_64 java-1.6.0-openjdk-devel.x86_64 python python-devel l
深入解析DC/OS 1.8 – 高可靠的微服务及大数据管理平台
刘超的通俗云计算
10-04 6749
深入解析DC/OS 1.8 – 高可靠的微服务及大数据管理平台   大家好，欢迎大家参加这次DC/OS的技术分享。 先做个自我介绍，刘超，Linker Networks首席架构师，Open DC/OS社区贡献者，长期专注于OpenStack, Docker, Mesos等开源软件的企业级应用与产品化。 从事容器方面工作的朋友可能已经听说过DC/OS，往往大家误解DC/
Mesos源码分析(5): Mesos Master的启动之四
刘超的通俗云计算
07-24 4120
5. Create an instance of allocator.   代码如下   Mesos源码中默认的Allocator，即HierarchicalDRFAllocator的位置在$MESOS_HOME/src/master/allocator/mesos/hierarchical.hpp，而DRF中对每个Framework排序的Sorter位于$MESOS_HOME/src
Mesos源码分析(7): Mesos-Slave的启动
刘超的通俗云计算
07-26 2911
Mesos-Slave的启动是从src/slave/main.cpp中的main函数开始的。   看过了Mesos-Master的启动过程，Mesos-Slave的启动没有那么复杂了。   1. slave::Flags flags 解析命令行参数和环境变量   Try load = flags.load("MESOS_", argc, argv);
DCOS实践分享(4)：如何基于DC/OS整合SMACK(Spark, Mesos, Akka, Cassandra, Kafka)
刘超的通俗云计算
06-08 2777
这篇文章入选CSDN极客头条 http://geek.csdn.net/news/detail/71572 当前，要保证业务的市场竞争力，仅靠设计一个可用并且好看的产品，已经完全不能满足要求。全球消费者都希望产品能够足够的智能化，通过大数据分析来改善他们的用户体验。简言之，物联网和大数据终将成为改变生活的技术驱动力。 近几年涌现了大量的技术架构与设计模式，开发者和科学家可以利
Mesos架构解析：从源码看分布式系统核心
Mesos的源码分析可以帮助我们深入理解其内部机制，例如如何进行资源分配、如何处理失败恢复、以及如何高效地调度和执行任务。Mesos的模块化设计使得框架开发者可以专注于自身的业务逻辑，而无需关心底层资源的管理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

popsuper1982

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值