魅族大数据上云之路

背景介绍以及总体规划

首先我先介绍一下魅族大数据上云的背景，即我们为什么要上云？

在开始之前我们默认今天参与直播的各位同学对Hadoop相关技术和docker都有一定的了解，另外以下提到Hadoop是泛指目前魅族大数据使用的Hadoop生态圈技术，资源除特别说明则泛指存储资源、计算资源和网络资源的总和。

我们先来看一下魅族大数据在没有上云的时候所遇到的主要问题有以下几个方面：

1.资源隔离不彻底

• 由于一些历史问题，我们跑在Hadoop上的任务脚本质量参差不齐，导致经常有一些异常任务会短时间吃掉所有的机器资源，导致整台机器down掉。

2.资源利用效率低

• 目前我们的业务增速很快，每个Q都需要一定数量的机器扩容，但是业务的增速往往不是线性的，为某些关键时间点的峰值需求而准备的机器常常在峰值过去之后存在大量的资源闲置。

3.集群运维成本高

• 由于一些存储、网络方面的物理故障以及异常任务导致故障恢复都需要运维同学人工介入。
• 常见的高可用解决方案都需要侵入到Hadoop技术体系内部，有一定技术门槛。公共运维部门的同学无法很好的支持大数据团队服务器运维。
• 集群部署模型复杂，过程繁琐

基于以上这些存在的问题，我们经过一番技术预研发现，上云之后可以很好的解决我们的问题。

在讨论上云的总体规划之前，我觉得有必要先把几个非常重要但是却容易混淆的概念先做一下简单解释，这里只是点到为止，希望这对大家理解后面的内容会很有帮助

Docker≠容器技术

Linux很早就推出了内核虚拟化技术LXC，Docker是有Docker公司研发的，它把LXC做了进一步的封装（现在已经替换成了它自己实现的libcontainer，加上镜像管理等一系列功能，变成了一套完整、易用的容器引擎。2015年的dockerCon大会上，docker和CoreOS共同推出了Open Container Project 来统一容器的定义和实现标准）。

这里提一些圈儿内的轶事给大家提供点儿谈资：

刚才提到的OCP（Open Container Project）的建立，google才是背后的真正推手，因为当年Docker的快速发展，打败了google曾经的开源容器技术lmctfy，Docker公司和CoreOS原本和睦，共同发展Docker技术，后来由于意见上的分歧，两家都想做容器技术的标准制定者，google暗中支持CoreOS，后来CoreOS随即自立门户，发布了自己的容器技术Rocket，并且和google的kubernetes合作发布了容器服务平台Tectonic，Docker公司和CoreOS由此彻底决裂。后来Linux基金会出面调和，google也从中协调，双方都退让了一步，才最终和解推出了OCP，但是有心人可以看一下OCP项目的成员名单就知道，Dcoker公司在这中间只占很小的一部分，google在其中扮演了重要角色。此外Docker公司也放弃了自己对Docker技术的独家控制权，做为回报Docker的容器实现被确定为OCP的新标准，但源代码都必须提交给OCP委员会。不难看出google实际上是为了报当年lmctfy的一箭之仇，借CoreOS之手狠踩了Docker公司一脚，自己也成为了容器技术领域的实际控制者

总结下来Docker只是众多容器技术中的一种，只是由于它最近的火爆而几就成了容器技术的代名词。

容器技术≠虚拟化技术

容器技术只是实现虚拟化的一种轻量级的解决方案，常见的虚拟化方案还包括

KVM、Xen和vmware的解决方案等。