分布式系统和container

分布式系统不能没有监控，黑盒子等于无法运行，所以监控要分为如下三个层面。
- 主机监控：这个并非Mesos的关注点，因为主机是资源层，本身也有自己的监控体系
- 容器层面的监控，主要是用cAdvisor，包括CPU、内存和IO

- 最最重要的是应用层监控，因为PaaS本身对外提供服务，所以监控的关注点应该是全局最终结果和逻辑正确性，而不是太纠结于个别主机和容器的

这个是分布式系统和传统系统最大的区别，关注点不再是个别容器和主机，而是业务本身。这种系统设计本来就是希望软件脱离对特定和单点硬件的依赖，通过集群化实现大规模系统的高性能和高可用。所以监控不再是着眼于“源头”，而是看重效果。很多时候平台的自愈机制甚至“埋没”了底层的一些故障，那么就让他被埋没了，只要最后效果能够得到保证。

分布式系统在应用层监控要求远远大于普通的IT系统，例如下面是一个HTTP返回状态吗的直方图，这样能很快发现是否出现大规模异常，并且通过日志系统来定位问题。

分布式系统和传统IT区别，就像市场经济和计划经济一样，不是要处处完全可控有计划，在最终结果保持可控情况下，突出灵活性、自由度和弹性，支持业务多变和快速发展。

这样一个基本的分布式系统就搭建完毕，当然如果是生产级别还需要有大规模集群运行调优、集群化HAProxy，监控和报警对接、多租户管理、F5的对接、和Openstack等等的IaaS对接等，这样就需要数人云这样的商业化开源方案来支持了。

可以看到，这个问题的回答并不是黑白分明。最理想的当然是完全的微服务架构，可以发挥全部的作用。当然90%应用目前还是有状态应用，所以可以快速扩张，但是无法收缩，需要实现Graceful Stop功能，慢慢地收缩。所谓的无状态化改造，无非就是很标准互联网架构，不要用J2EE内置的Session就好。

http://mp.weixin.qq.com/s?__biz=MzI0MTAxNzI2MQ==&mid=402560734&idx=1&sn=5711f1f6527f6dff9d9ab305f6c63900&scene=23&srcid=03172gUUiPdqAbkmoE4btEdQ#rd

http://domino.research.ibm.com/library/cyberdig.nsf/papers/0929052195DD819C85257D2300681E7B/$File/rc25482.pdf