mesos
文章平均质量分 66
xiaomin_____
努力~~
展开
-
分享Docker监控体系(Kubernetes Mesos监控)
PS:监控系统是整个运维环节,乃至整个产品生命周期中最重要的一环。监控的价值与体系在运维体系中, 监控是非常重要的组成部分。通过监控可以实时掌握系统运行的状态,对故障的提前预警,历史状态的回放等,还可以通过监控数据为系统的容量规划提供辅助决策,为系统性能优化提供真实的用户行为和体验。这几年互联网业务的迅速发展,用户对系统的要求也越来越高,而做好监控成能为系统保驾护航,能有效提高系统的...原创 2017-02-17 13:42:34 · 253 阅读 · 0 评论 -
marathon-autoscaling功能研究
1.概述:目前marathon主要支持两种autoscaling:1.基于cpu、内存使用率的autoscaling;2.基于服务请求频率的autoscaling。下面将就这两种autoscaling的原理和用法进行详述。2.基于CPU和内存使用率的autoscaling2.1原理app autoscaling的实现主要依靠一个运行在主机上名为marathon-autoscale...原创 2016-12-16 14:56:35 · 141 阅读 · 0 评论 -
Kubernetes、Swarm、Mesos最新版本功能比较(下)
Kubernetes、Docker Swarm、Mesos作为时下流行的容器框架受到了广大开源爱好者和企业的关注。面对用户需求不断的升级和自身产品不断的改进更新,其功能愈发趋于完善,迭代版本也不断的发布。因为篇幅过长,分上下两篇推送,本文为下篇。6. 弹性缩放和理想状态的调整Kubernetes通过RC设定Pods数量,其管理器可以自动保持和维持以确保服务的高可用性。Kubernetes...原创 2016-11-21 15:36:44 · 136 阅读 · 0 评论 -
从 0.25 到 1.0,中小企业 Mesos 网络和存储的填坑实践
看完海外大型企业的 Mesos 容器技术实践,让我们视线回到国内。今天是 数人云容器三国演义 Meetup 嘉宾演讲实录第一弹。中小企业是如何解决 Mesos 使用过程中种种问题的? Acttao 技术总监何威威来告诉你答案——今天与大家分享的是中小企业的 Mesos 实践中遇到的网络和存储方面的具体问题。概述首先介绍一下 Acttao 的实践情况。 Acttao 现在主要运行两个 ...原创 2016-11-21 15:25:58 · 147 阅读 · 0 评论 -
全方位探索 Mesos 各种存储处理方式
美好的一周又开始了,今天小数带来的文章里将讨论 Mesos的不同存储选项以及如何利用Flocker简化自动持久任务流程——精彩多多,不容错过:)小数预告:从明天开始,数人云微信群将进行Dockercon西雅图盛会的精彩直播,敬请期待~目录• Apache Mesos是什么?• 使用永久存储• 本地文件系统• 永久分卷• 动态预留• Docker容器化工具与...原创 2016-11-21 14:17:50 · 112 阅读 · 0 评论 -
marathon参考(11):ports端口设置
[-]Ports定义随机端口分配环境变量配置实例Host模式开启Host模式指定端口引用端口Bridge模式开启Bridge模式指定端口指定协议指定服务端口引用端口 Portsmarathon中应用的端口配置可能被混淆,并有一个悬而未决的问题,需要重新设计 ports API。这个页面试图...原创 2016-11-12 12:03:28 · 204 阅读 · 0 评论 -
marathon参考(2)Blue-Green Deployment 蓝 绿 发布
Blue-green deployment是一个安全部署应用的方法,它通过提供两个版本的应用同时运行。为了部署一个新版本的应用,你需要将当前版本切换到新版本,然后关闭老版本。Blue-green deployment不会使应用停止服务,在必要的情况下允许你快速回滚应用到blue版本。这篇文章简要的描述了这一过程 http://martinfowler.com/bliki/BlueGreen...原创 2016-11-12 12:03:12 · 139 阅读 · 0 评论 -
jenkis mesos marathon docker 架构图
jenkis mesos marathon docker 架构图原创 2016-11-03 17:55:50 · 157 阅读 · 0 评论 -
DCOS之Marathon应用管理篇
基础应用 首先我们将下述代码,保存为shell.json:{ “id”: "shell", "cmd": "while [true];do echo 'DCOS shell';sleep 5;done", "cpus": "0.1", "mem": "10.0", "instances"原创 2016-11-03 14:36:43 · 468 阅读 · 0 评论 -
搭建基于Jenkins, Apache Mesos和Marathon的弹性高可用的持续集成环境
摘要: 持续集成(CI)是一种软件开发实践,使用得当,它会极大的提高软件开发效率并保障软件开发质量。本文探讨了如何利用Jenkins,Apache Mesos和Marathon搭建一套弹性的,高可用的持续集成环境。 【编者按】持续集成的开发实践是目前的一个热门话题,在本文中,数人科技云平台负责人周伟涛解析其利用开源的Jenkins,Apache Mesos和Marathon搭建弹...原创 2016-11-02 17:50:44 · 165 阅读 · 0 评论 -
Mesos统一容器管理技术简介
背景简介 Mesos现在支持的容器化技术用得比较多的主要有两个,一个是Mesos Containerizer技术,一个是Docker Containerizer技术。Mesos Containerizer主要是利用操作系统本身的一些特性例如cgroup,namespace等来实现对container的隔离;Docker Containerizer主要是通过Mesos Agent调用Doc...原创 2016-11-01 15:24:10 · 225 阅读 · 0 评论 -
巅峰对决之Swarm、Kubernetes、Mesos
转载自:http://dockone.io/article/1138 感谢作者和编者的分享 【编者的话】这篇文章对比了三大主流调度框架:Swarm、Kubernetes和Mesos。文章不仅从理论上讨论了各个框架的优缺点,还从两个实际的案例出发,分析了每个框架具体使用方法。这篇文章对比了三大主流调度框架:Docker Swarm、Google Kubernetes和Apache Me...原创 2016-10-30 10:27:39 · 137 阅读 · 0 评论 -
畅谈 Mesos 生态圈系列
Apache Mesos 是 Apache 基金会下的一个分布式资源管理框架,它被称为是分布式系统的内核。Mesos 结合容器化技术提供了有效的,跨分布式应用或框架的资源隔离和分享机制,可以做为 Hadoop、Mpi、Hypertable、Spark、 Elasticsearch 等各种分布式应用的资源管理平台。网络上已经有很多关于 Mesos 架构及分配策略的文章博客,这里我将抛开这些基本原...原创 2016-10-30 10:27:14 · 107 阅读 · 0 评论 -
基于Mesos和Docker的分布式计算平台
针对“互联网+”时代的业务增长、变化速度及大规模计算的需求,廉价的、高可扩展的分布式x86集群已成为标准解决方案,如Google已经在几千万台服务器上部署分布式系统。Docker及其相关技术的出现和发展,又给大规模集群管理带来了新的想象空间。如何将二者进行有效地结合?本文将介绍数人科技基于Mesos和Docker的分布式计算平台的实践。分布式系统设计准则可伸缩性首先分布式系统一定是...原创 2016-10-28 11:34:04 · 93 阅读 · 0 评论 -
Docker系列之(二):使用Mesos管理Docker集群(Mesos + Marathon + Chronos + Docker)
1. Mesos简介1.1 MesosApache Mesos 是一个分布式系统的管理软件,对集群的资源进行分配和管理。Mesos主要由以下几部分组成:Master: 管理各Slave节点Slave: 为集群提供资源Framework: scheduler从Master请求资源,executor在Slave上执行任务Slave节点上的每个executor是一个容...原创 2016-10-28 11:33:27 · 125 阅读 · 0 评论 -
Service Discovery with Marathon, Mesos-DNS and HAProxy
ProblemYou have a bunch of microservices deployed in your Mesos cluster, and want to make them available under service specific URLs via HTTP so they can call each other or be accessed from the out...原创 2016-12-19 20:41:54 · 150 阅读 · 0 评论 -
Mesos:服务发现与负载均衡
Mesos: Service Discovery & Load Balancing这一章主要探讨是Mesos关于服务发现与应用的负载均衡的解决方案,主要侧重对服务发现与负载均衡进行讲解,需要明白的一点,Mesos作为 两层架构,Marathon作为Mesos的systemd服务,服务发现功能只需要向marathon提供即可,marathon启动的k8s、 Cloud Foundr...原创 2016-12-19 20:51:12 · 144 阅读 · 0 评论 -
开源分布式存储:HDFS,Gluster,Swift和Ceph
1.HDFS其实在真正搞过分布式文件系统的人看来,HDFS不能算得上是真正的文件系统。因为他实在太简单,太粗糙。甚至连搞个append接口都搞了老半天,到现在应该还不支持随机读写之类的文件系统最基本的功能。他最大的优势是借助hadoop这个生态系统得以比较稳定。另外还有一个优势就是他是用java写的,这样一帮java程序员也可以号称自己在搞文件系统了。HDFS到现在应该还是不是真正意义上...原创 2016-12-22 20:52:31 · 3266 阅读 · 0 评论 -
Apache Mesos(4)-Mesos的资源调度、分配及隔离机制
出处: https://andyyoung01.github.io/ 或 http://andyyoung01.16mb.com/前面的文章,我们对Mesos架构已经有了基本的认识,并且也安装配置了一个有3个主节点的高可用集群。虽然我们目前还没有实际在集群上部署Frameworks来运行具体的任务,但后面的文章我们会详细探索Marathon、Chronos和Aurora等框架。现在我们先更深...原创 2017-01-24 11:14:18 · 519 阅读 · 0 评论 -
traefik简介
traefik(https://traefik.io/)是一款开源的反向代理与负载均衡工具。它最大的优点是能够与常见的微服务系统直接整合,可以实现自动化动态配置。目前支持Docker, Swarm, Mesos/Marathon, Mesos, Kubernetes, Consul, Etcd, Zookeeper, BoltDB, Rest API等等后端模型。traefik的具体模型如下...原创 2017-01-17 23:07:35 · 1339 阅读 · 0 评论 -
Failed to shutdown socket with fd 50: Transport endpoint is not connec
Failed to shutdown socket with fd 50: Transport endpoint is not conneccpu使用过高,导致mesos起不来原创 2017-05-31 17:12:50 · 557 阅读 · 0 评论 -
marathon参考(9):健康检查
健康检查是需要每个应用运行监控检查任务的。 1.默认的健康检查是延迟才能让mesos知道任务的状态是否健康。 2.marathon提供一个任务资源的健康成员访问的REST API接口。如果HTTP的响应在超时时间timeoutSeconds内返回代码在200到399之间,那么健康检查认为是健康的。如果任务失败连续超过健康检查规定的maxConsecutiveFailures次数,这个...原创 2017-01-09 15:56:55 · 342 阅读 · 0 评论 -
marathon参考(11):ports端口设置
Ports marathon中应用的端口配置可能被混淆,并有一个悬而未决的问题,需要重新设计 ports API。这个页面试图更清楚地解释它们是如何工作的。 定义 containerPort:在容器内部,是一个容器端口。在使用Docker容器的时候,当我们使用BRIDGE网络模式,这是端口映射的一部分,必须设置。 hostPort:主机上的端口。当使用BRIDG...原创 2017-01-09 15:52:52 · 317 阅读 · 0 评论 -
marathon参考(6): 约束Constraints
约束控制程序运行,允许优化容错或指定应用运行位置。约束由3个部分组成:field名称、操作符和一个可选参数。这个field可能是slave主机名或任何mesos salve的属性。 属性Fields Hostname Fields hostname属性匹配slave hostname,参看UNIQUE操作符的实例。 hostname字段支持marathon所有的操作...原创 2017-01-09 15:52:17 · 193 阅读 · 0 评论 -
apache mesos 角色
mesos根据角色(ROLE)在不同的framework之间分配资源,在启动master时可以指定系统中的角色和每种角色的权重,例如:mesos-master --ip=127.0.0.1 --work_dir=/var/lib/mesos --roles=qarole,devrole --weights='qarole=1,devrole=3'指定了两种角色parole和devrole...原创 2017-01-04 23:21:14 · 211 阅读 · 0 评论 -
Mesos 配置项解析
Mesos 的 配置项 可以通过启动时候传递参数或者配置目录下文件的方式给出(推荐方式,一目了然)。分为三种类型:通用项(master 和 slave 都支持),只有 master 支持的,以及只有 slave 支持的。 通用项--ip=VALUE 监听的 IP 地址--firewall_rules=VALUE endpoint 防火墙规则,VALUE 可以是 JSON ...原创 2017-01-04 23:19:38 · 218 阅读 · 0 评论 -
mesos roles
【编者按】Role是Mesos中的一个非常重要的概念,Mesos围绕它来定义资源在多个framework之间分配的策略。在Mesos 0.26之前,Mesos集群的操作员可以通过指定–roles这个参数来指定Mesos所支持的Roles,一个framework只能通过Mesos支持的role来加入到Mesos的集群进而接收Mesos所发送的Resource Offer。如果后来有一个新的fram...原创 2017-01-04 23:18:24 · 184 阅读 · 0 评论 -
Nginx反向代理到另外一台服务器,域名解析IP变更后连接超时
nginx mesos-dns 结合时location ~ .* { pro xy_pass http://www.example.com/; proxy_set_header X-Real-IP $remote_addr; } 之前www.example.com是解析到IP为A的,由于后端服务器IP变更为B,并且域名解析也改成了B,现在再访问时Ng...原创 2016-12-28 10:21:19 · 844 阅读 · 0 评论 -
nginx dns resolver配置方法示例
nginx dns resolver配置实例,proxy_pass与upstream server通信时手动指定resolver,解决dns解析失败的问题。nginx 通过 proxy_pass 和 upstream server 通信,需要手动指定 resolver。dns解析失败出现错误: domain.com could not be resolved.可以指定多个dns,并重...原创 2016-12-28 10:18:34 · 2421 阅读 · 0 评论 -
mesos 单容器网络监控和隔离
单容器网络监控和隔离Linux上的Mesos可支持 单容器网络监控和隔离,每个活动容器的网络统计信息会被写入slave节点的 /monitor/statistics.json 。网络隔离 功能可避免 单个容器 占用过多可用端口,消耗过多带宽以及过分阻滞其他容器的信息传输等。 网络隔离功能对于大部分运行在slave节点的任务(端口绑定为0,且由内核分配端口)来说使透明的。...原创 2016-12-27 18:36:03 · 259 阅读 · 0 评论 -
开源组件搭配Docker、MESOS、MARATHON,不要太配哦 | 又拍云企业容器私有云架构
分享 | 莫红波(又拍云系统工程师)整理 | 半夏2016年12月2日,InfoQ主办的全球架构师峰会2016在北京国际会议中心成功举办。本次活动以“云平台架构设计与容器落地实践”为主题,邀请架构私有云领域的技术大牛结合自身经验探讨容器技术中的技术难点以及如何解决这些问题。又拍云也在受邀之列,又拍云系统工程师莫红波围绕「又拍云企业容器 私有云架构 」跟大家分享云架构中的几个组件,帮...原创 2016-12-26 20:30:41 · 203 阅读 · 0 评论 -
mesos 监控 资料
http://mesos.apache.org/documentation/latest/monitoring/ http://www.oneapm.com/ci/mesos.html http://www.cnblogs.com/hahp/archive/2016/06/24/5614285.html http://docs-ci.oneapm.com/services...原创 2016-12-25 10:48:07 · 105 阅读 · 0 评论 -
DCOS之Marathon介绍篇
Marathon是一个mesos框架,能够支持运行长服务,比如web应用等。是集群的分布式Init.d,能够原样运行任何Linux二进制发布版本,如 Tomcat Play等等,可以集群的多进程管理,实现服务的发现,为部署提供提供REST API服务,SSL与基础认证、配置约束,通过HAProxy、DNS实现服务发现和负载平衡,可定制化监控策略实现Task(一个App对应多个Task)的自动扩...原创 2016-10-28 11:30:36 · 401 阅读 · 0 评论 -
Mesos持久化存储初探
持久化是Mesos下一个版本的一项重点工作,也是提高Mesos分布式环境资源利用率必须解决的问题。本文系作者根据自己在Mesos Meetup第二期的演讲内容整理,讲解Mesos 解决持久化存储问题的思路,介绍了即将发布的Mesos 0.23的两个相关特性:Persistent Volumes 和 Dynamic Reservations。如何将 MySQL、Mongodb 等存储型服务或...原创 2016-10-27 00:20:39 · 276 阅读 · 0 评论 -
Mesos资源调度与管理的深入分享与交流
周伟涛:基于Mesos的集群调度与管理(实录)大家好,这里首先跟大家聊一些分布式系统的知识,然后说些我们搭建的Spark平台。分布式系统的原则: 可伸缩性, 没有单点失效, 高可靠性,数据本地性。 这是很常见的分布式系统的基本原则。这个大家可以参考王总以前的一篇 CSDN文章。我们公司内部搭建了一套基于Spark、Mesos、Hue、HDFS 等开源技术的多租户,高可用的集群环境。大致...原创 2016-10-27 00:20:25 · 211 阅读 · 0 评论 -
Marathon 服务发现及负载均衡 marathon-lb
1- 简介 从官网摘抄了Mesos-DNS的缺陷,也是选择使用marathon-lb做服务发现和负载均衡的原因。 DNS does not identify service ports, unless you use an SRV query; most apps are not able to use SRV records “out of the...原创 2016-10-19 17:43:52 · 867 阅读 · 0 评论 -
Mesos-DNS
Mesos-DNS用来支持Mesos集群上的服务发现,使运行在Mesos上的应用和服务可以通过域名服务器来发现彼此。你只要知道一个Mesos数据中心上运行的应用的名字,就可以通过Mesos-DNS查询到该应用的IP和端口号。工作原理了解一个东西的原理,对实际运用是有帮助的。这里简单的看看Mesos-DNS的工作原理。下图是官网上的Mesos-DNS架构图。 Mesos-DNS定期...原创 2016-10-18 18:08:49 · 209 阅读 · 0 评论 -
mesos-dns & marathon-lb
Mesos-dns 和 Marathon-lb 是mesosphere 官网提供的两种服务发现和负载均衡工具。官方的文档主要针对DCOS,针对其它系统的相关中文文档不多,下面是我在Centos7上的安装说明和使用总结。1. Mesos服务发现与负载均衡默认情况下,mesos marathon会把app发布到随机节点的随机端口上,当mesos slaves和app越来越多的时候,想查找某...原创 2016-10-12 16:06:17 · 182 阅读 · 0 评论 -
Mesos+Zookeeper+Marathon+Docker分布式集群管理最佳实践
1.1Mesos简介 Mesos是Apache下的开源分布式资源管理框架,它被称为分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPLab开发,后在Twitter得到广泛使用。 Mesos-Master:主要负责管理各个framework和slave,并将slave上的资源分配给各个framework。 Mesos-Slave:负责管理本节点上的各个mesos-...原创 2016-10-12 16:03:30 · 181 阅读 · 0 评论 -
marathon-lb-autoscale nginx日志
[2016-10-12T07:03:45] Starting autoscale controller[2016-10-12T07:03:45] Options: #<OpenStruct marathon=#<URI::HTTP http://ip:8080>, haproxy=[#<URI::HTTP http://ip:9090>], interval=...原创 2016-10-12 16:01:52 · 195 阅读 · 0 评论